免费咨询热线

0571-852787786

YYVIP易游技术文档

ARTICLES

当前位置: 首页 > YYVIP易游技术文档

YYVIP易游基于AI大模型的故障诊断与根因分析落地实现

更新时间:2025-12-15点击次数:

  当前,企业数字化转型进入深水区,业务系统的复杂性呈指数级增长。微服务、容器化、云原生架构成为主流,这虽然带来了敏捷性和弹性,但也让系统内部的依赖关系变得空前复杂。一个简单的用户请求可能穿越几十个甚至上百个服务,产生的监控指标、日志、链路数据量浩如烟海。

  在此背景下,AIOps 从一种“锦上添花”的探索转变为“雪中送炭”的必需品。该项目是AIOps在故障智能诊断这一核心场景下的前沿实践。

  构建一个基于多智能体协作的AI系统,模拟人类专家团队的协作模式,对IT系统中发生的故障进行自动化、智能化的根因分析YYVIP易游官网RCA,并通过企业微信等日常办公协作平台将分析过程和结论以交互式、易于理解的形式推送给运维工程师,最终实现平均故障发现时间MTTD和平均故障修复时间MTTR的大幅降低。

  监控指标(Metrics):从Prometheus、Zabbix、云监控等获取的系统指标(CPU、内存、磁盘IO)、应用指标(QPS、响应延迟、错误率)、业务指标(订单量、支付成功率)。

  日志(Logs):从ELK及SLS平台获取的应用日志、系统日志、中间件日志,包含关键的ERROR、WARN级别信息及上下文。

  调用链(Traces):从ARMS获取分布式追踪数据,清晰展示请求在微服务间的完整路径和耗时。

  系统内部并非一个单一的AI模型,而是由一个“运维团队”构成。每个智能体被赋予特定的角色和专长,它们各司其职,相互协作,共同逼近问题真相。例如:

  任务规划智能体:扮演“运维专家”的角色,对系统中发生的故障进行自动化、智能化的根因分析生成明确的步骤计划,并将监控搜查任务指派给对应的智能体。

  日志分析智能体:精通NLP,快速从海量日志中提取错误模式、异常堆栈和关键事件。

  分析决策智能体:扮演“值班长”的角色,通过结构化思维将给定的监控查询结果显性化以进行根因分析。它不会获取新数据或改变状态,只会附加思维日志。当证据缺失或冲突时,或者当最近的步骤没有进展时,需要他来进行判断。

  最终输出智能体:扮演“运营专家”的角色,对系统告警事件问题进行总结与结构化输出。

  整个分析过程和最终结论通过钉钉机器人以卡片消息、Markdown文本或甚至交互式按钮的形式推送给运维人员。

  运维人员可以在聊天窗口中与智能体进行自然语言交互,例如要求“查看详细证据”或“分析一下xxx应用在几点几分出现的故障根因是什么”。这种模式将运维场景无缝嵌入日常工作流,极大提升了响应效率。

  一个底层组件如数据库、缓存的故障,会像多米诺骨牌一样触发上下游数百个服务的数千条关联告警。运维人员的微信在几分钟内被刷屏,陷入“告警海洋”,难以分辨孰先孰后,哪个是“因”,哪个是“果”。

  智能体的解决思路:多智能体系统能够对告警问题进行聚类、降噪和关联,将上千条告警收敛成几个核心的“故障事件”,并直接指出根源,极大减轻了运维人员的认知负荷。

  故障排查像一个“侦探游戏”,严重依赖资深工程师的专家经验。他们需要凭经验在多个监控系统(指标平台、日志平台、链路平台)之间反复横跳、手动查询、对比时间线。这个过程耗时耗力,且一旦专家离职或不在岗,故障恢复时间将变得不可控。

  智能体的解决思路:智能体7x24小时值守,集成了顶尖专家的分析模式,能短时间内完成跨数据源的关联分析,将人工需要数小时甚至数天的排查过程压缩到分钟级,降低了对个人经验的过度依赖。

  监控指标、日志、调用链数据通常存储在不同的系统和数据库中,彼此割裂。人工关联需要记住故障时间点,然后在不同平台间切换、查询、对比,操作繁琐,极易出错,且难以发现深层次的、跨体系的关联关系。

  智能体的解决思路:智能体系统天然具备全局视野,它统一接入所有数据源,能够自动基于时间戳、服务名、TraceID等字段进行端到端的关联,发现人类肉眼难以发现的隐藏模式。

  发现故障后,需要拉群、打电话、通知各方人员。在群内,大家需要重复“截图”、“发日志”、“描述问题”,沟通效率低下,信息碎片化严重。

  智能体的解决思路:通过钉钉/企业微信机器人,智能体直接成为“应急响应中心”。它主动推送结构化的分析报告,所有人基于同一份事实进行讨论和决策。智能体还可以直接执行预案、触发止损操作,将沟通从“发生了什么”提升到“我们该怎么办”的决策层面。

  每次故障的处理经验大多留在了工程师的脑子里和私下的聊天记录里,难以有效沉淀到知识库中。导致同样的错误反复出现,类似的故障需要重新分析。

  智能体的解决思路:每一次智能体的分析过程和处理结果都可以被自动记录和归档,形成可检索的故障案例库。当类似故障再次发生时,智能体可以快速匹配历史案例,直接给出可能的原因和解决方案,实现运维知识的持续YYVIP易游官网积累和自动化复用。

  方案基于 Dify 平台构建分层智能体工作流,实现面向故障诊断与根因分析的 AI 大模型应用。整体架构分为三层:任务规划层、感知层、分析决策层。任务规划层对系统中发生的故障进行自动化、智能化的根因分析生成明确的步骤计划,并将监控搜查任务指派给对应的智能体;感知层负责接入多源运维数据,包括日志(Log)、指标(Metric)、链路追踪(Trace)以及变更事件等数据;分析决策层通过大模型对多维数据进行关联推理,识别异常模式并定位潜在根因并结合业务上下文生成可执行的修复建议或自动化动作。

  我们在大模型架构规划时遵循“拆分模型职责、透明化工作流、标准化输出”的设计原则,旨在构建一个类比于人类运维团队的多智能体协同系统。系统内部并非依赖单一AI模型,而是由多个角色明确、专长聚焦的智能体组成,各司其职、高效协作,共同完成复杂故障的根因分析任务。

  通过职责拆分,将整体诊断流程分解为多个专业化子任务,通过json进行多智能体间的结构化信息传递:任务规划智能体作为“运维专家”,负责统筹全局,制定根因分析步骤并调度其他智能体;指标分析智能体专注于时序指标异常检测与相关性分析;日志分析智能体利用NLP能力从海量日志中提取关键错误信息;拓扑感知智能体则基于系统依赖关系,识别故障传播路径;分析决策智能体扮演“值班长”,对已有证据进行结构化推理,在信息缺失或冲突时做出判断,但不主动获取新数据;最终输出智能体作为“运营专家”,将分析结果转化为标准化、可操作的结构化报告。

  我们为了将工作流全程透明化防止流程黑盒难以调试,每个智能体的输入、输出及决策依据均被显式记录和输出,确保分析过程可追溯、可解释。然后通过统一输出模板和语义规范,实现诊断结论的标准化,便于与下游运维系统集成或人工复核。能够显著提升系统的可维护性、可扩展性与诊断准确性。

  为实现外部数据的动态查询能力,系统将日志查询、指标检索、链路追踪等监控工具封装为MCP服务,并部署于函数计算平台。MCP 作为一种标准化接口协议,使大模型在推理过程中可按需调用这些工具,实时获取最新监控数据,避免静态上下文带来的信息滞后问题。同时,用户CMDB中的应用拓扑关系(如应用与组件、应用间依赖)也被封装为 MCP 服务,使大模型在分析过程中能够理解系统架构上下文,提升根因推断的准确性。通过 MCP 机制解耦大模型与底层运维系统,既保障了数据查询的灵活性、实时性与可扩展性,又提升了故障分析的上下文感知能力。

  Dify 工作流引擎负责编排上述 MCP 工具调用逻辑,利用React模式对复杂问题进行自行拆解和迭代,多次改写问题并多次执行工具调用从而生成质量更优的结果。例如,当检测到服务延迟异常时,工作流首先调用 Metric MCP 获取关键性能指标,若发现 CPU 或内存异常,则进一步调用 Log MCP 查询相关错误日志;同时通过 CMDB MCP 获取该服务依赖的上下游组件,结合 Trace MCP 分析调用链瓶颈,最终由大模型综合多源信息输出根因假设与处置建议。

  一个丰富的知识库能够为大模型提供至关重要的上下文,使其从“一个通用的语言模型”转变为专属的“领域运维专家”。为了让大模型根因分析得更准确,可以系统地补充以下几大类信息到知识库中:

  a)拓扑关系:清晰的微服务/组件依赖关系图。例如,Service A 依赖 数据库 B 和 缓存 C。

  b)组件说明:每个服务、中间件、数据库、网关的详细功能描述、技术栈和版本信息。

  a)描述核心业务的执行路径。例如,“用户下单”这个动作,会依次经过 API网关 - 订单服务 - 库存服务 - 支付服务 - 消息通知服务。

  a)黄金指标:吞吐量(QPS)、错误率(Errors)、延迟(Latency)、容量。

  c)应用层指标:JVM GC次数、数据库连接数、消息队列堆积情况、慢查询数量。

  b)关键事件日志:服务启动/停止、重要业务流程节点(如“开始处理订单XXX”)。

  c)日志中的关键模式:例如,某个特定任务ID在多个服务间传递的追踪信息。

  a)分布式链路数据(如ARMS的Tracing),这是理解跨服务故障的重要信息。它可以直接展示一次请求在不同服务上的耗时和状态,精准定位瓶颈和故障点。

  a)变更事件:最近的代码部署、配置变更、数据库变更、扩容/缩容操作(时间、内容、操作人)。“任何故障背后很可能有一个最近的变更”。

  b)告警事件:其他监控系统(如Prometheus/Zabbix)触发的告警信息,甚至是其他团队告知的上下游系统故障。

  a)针对特定告警或错误的标准化处理手册。例如:“当出现 cpu利用率90% 时,首先检查Service A服务,执行 top -Hp 命令查看线程情况,常见原因是...”。

  a)描述期望的排查流程。例如:“首先确认影响范围 - then 检查近期变更 - 然后沿着依赖链逐层下钻 - ...”。

  a)希望模型最终输出的分析报告包含哪些部分。例如:“【摘要】、【影响范围】、【可能根因】、【证据分析】、【建议行动】”。

  a)非结构化:将PDF、Word、Markdown格式的架构文档、故障报告、Runbook直接上传。

  b)实时数据:对于监控指标、变更事件等数据,最好通过MCP查询外部接口,在提问时实时从Prometheus、CMDB等系统查询,再将结果作为上下文提供给LLM。这样能保证信息的时效性。

  a)可以按领域创建多个知识库,例如:“系统架构知识库”、“历史故障案例库”、“运维流程库”。在提问时,根据问题类型有选择地启用相关知识库,提高检索精度。

  b)切片优化:对于长文档,调整知识库的分段策略,确保关键信息(如错误码和解决方案)能被完整地检索到。

  为了让智能体更好地利用这些指标进行根因分析,我们在知识库和训练中强调以下几点:

  a)发现应用RT升高 → 检查应用所在ECS的CPU、内存 → 检查数据库监控(连接数、慢查询)→ 检查缓存监控(命中率)。

  b)看到SLB后端服务器健康检查失败 → 关联检查对应ECS的状态和监控 → 检查该ECS上应用日志。

  c)关键需要依靠React模式下的自我迭代能力,还可以引入PDL在 Quantization 等 Kernel 计算的过程中,提前执行 GEMM 的初始化操作,来实现系统的整体性能提升。

  2)查询数据:训练智能体区分直接现象和根本原因。例如,“数据库CPU高”是现象,而“大量慢SQL缺乏索引”是根因。

  3)时序关联:智能体应关注指标异常的时间线。例如,是先有网络流量突增,还是先有应用CPU飙升,这能帮助判断故障传播链的起点。

  4)基线对比:很多异常表现为指标相对于其历史基线的偏离。例如,同样的 CPU 使用率 80%,对于夜间批量作业和白天在线业务的意义完全不同。

  5)配置信息关联:将监控指标与最近的变更事件(如代码发布、配置修改)关联分析。很多故障的直接诱因是变更。

  在 AIOps 故障诊断场景中,复杂问题往往无法通过单次工具调用或静态上下文直接求解。为此,我们引入 ReAct(Reasoning + Acting)模式,将大模型的推理能力与外部工具调用能力深度融合,实现对故障问题的动态拆解、迭代验证与逐步收敛。

  ReAct 模式的核心在于交替执YYVIP易游官网行“推理(Thought)”与“行动(Action)”两个阶段。在根因分析任务启动后,任务规划智能体首先基于告警信息生成初始假设(如“服务延迟可能由资源瓶颈或依赖服务异常引起”),并据此制定首轮查询计划。随后,工作流引擎调用 Metric MCP 获取目标服务的 CPU、内存、请求延迟等时序指标。若指标显示资源使用率突增,则触发第二轮推理:“高 CPU 是否由特定代码路径或外部调用引发?”,进而调用 Log MCP 检索对应时间段的错误日志或异常堆栈。

  与此同时,拓扑感知智能体通过 CMDB MCP 获取该服务的上下游依赖拓扑,识别潜在故障传播路径。若延迟集中在某次跨服务调用,则工作流进一步调用 Trace MCP 获取完整调用链数据,定位具体瓶颈节点(如数据库慢查询或第三方接口超时)。每一轮工具调用的结果均作为新证据输入至分析决策智能体,由其评估当前证据链的完整性与一致性。若证据不足或存在冲突(如指标异常但日志无报错),系统将自动重构问题表述(例如:“是否为非错误型性能退化?”),并发起新一轮有针对性的工具调用。

  整个过程由 Dify 工作流引擎驱动,支持循环、条件分支与超时控制,确保在有限步数内收敛至高置信度根因。最终,所有推理步骤、工具调用记录及中间结论被结构化整合,由最终输出智能体生成包含根因假设、证据摘要与处置建议的标准化报告。

  在 ReAct 模式应用于 AIOps 根因分析场景时,尽管其通过“推理-行动”交替机制提升了复杂问题的拆解能力,但在实际落地中仍面临若干关键性能与体验痛点:

  1.工作流运行时间较久。传统 Function Call 机制需多轮 message 组装与模型调用,导致端到端延迟显著增加,影响实时诊断效率 。

  2.上下文信息易丢失。随着迭代轮次增加,历史 Observation 和 Thought 不断累积,不仅推高 token 消耗和推理成本,还可能因关键信息被截断而影响后续决策。

  3.上下文过长引发推理性能下降。长上下文会降低模型注意力聚焦能力,尤其在多智能体协作中,子智能体难以高效提取所需信息,且多次遇到超过20w字符上限导致模型报错中断。

  4.循环终止判断问题。现有方案多依赖固定调用次数或工具列表为空等简单规则,容易过早结束(证据不足)或陷入无效循环(无进展仍持续调用)。

  5.最终输出质量不稳定。模型可能直接返回中间结论或思考发散,缺乏结构化、可操作的运维建议。

  1.减少不必要的循环限制次数:减少交互轮次,通过提示词或自定义函数前置处理数据减少无效思考循环,并在工作流当中添加多个过程输出模块,提升响应速度与用户体验。

  2.实施上下文压缩与精准引用:对历史信息进行摘要或关键片段提取,仅传递必要上下文给后续步骤,降低 token 消耗并保留核心证据 。

  3.增强循环终止智能判断:通过规划 MCP 服务持续监督任务进展,结合“证据充分性”与“步骤收敛性”动态决定是否终止循环 。

  4.优化任务总结机制:在判定任务完成后,显式调用总结工具触发大模型生成结构化、详尽的根因报告,确保输出专业且稳定 。

  以下流程图描述了整个工作流的调用顺序。用户通过告警卡片触发后,“运维专家”agent首先生成计划,然后调用各个数据agent获取数据,每个数据获取agent都有一套阈值的排查流程,监控查询结果会输出到值班长Agent进行统一收敛评估,直到满足停止条件。

  2.工作流初始化:判断是否初次循环并将用户query、memory等赋值到工作流变量,从知识库检索对应信息。

  3.问题拆解及任务规划:通过“运维专家”agent对系统中发生的故障进行自动化、智能化的根因分析生成明确的步骤计划,并将监控搜查任务指派给对应的智能体。

  4.监控metric查询:通过metric agent分析时序指标数据,发现异常波动和相关性。

  5.日志查询:通过log agent利用NLP从海量日志中提取错误模式、异常堆栈和关键事件。

  6.链路调用查询:通过trace agent查询系统架构和服务依赖关系,分析故障传播路径。

  7.分析决策:“值班长”agent,通过结构化思维将给定的监控查询结果显性化以进行根因分析。它不会获取新数据或改变状态,只会附加思维日志。当证据缺失或冲突时,或者当最近的步骤没有进展时,需要进行判断。

  8.循环:如果停止条件未满足,会重新循环一轮,运维专家agent根据值班长Agent的输出调整下一次计划,并继续调用数据Agent。这个过程循环直到值班长判断是否满足停止条件。

  9.输出报告:通过“运营专家”agent,对所有事件问题进行总结并结构化输出为一份“事件分析报告”。

  用途:根据告警信息生成分析计划,协调下游agent的执行,并根据结果进行反思和调整计划。

  你是一名经验丰富的 **SRE 运维专家**,负责主导整个 AIOps 故障根因分析(RCA)流程。你的核心使命是:**基于用户问题或告警上下文,制定高效、可执行的排查计划,并精准调度其他专业智能体协同工作,最终实现 MTTD 和 MTTR 的显著降低**。

  - **解析告警输入**:从用户问题或系统告警中提取关键实体(如域名、服务名、实例 ID、错误码、时间范围等)。

  - **生成结构化排查计划**:按“**拓扑定位 → 指标验证 → 日志取证 → 根因推断**”逻辑制定步骤。

  - **调度专业智能体**:将具体分析任务指派给指标、日志、调用链等智能体,并提供明确输入参数。

  - **关联业务上下文**:通过 CMDB 工具将域名或实例信息映射到项目、应用、环境等业务维度,并将项目、应用、环境等关键信息传递给下游服务。

  - 用户输入问题或告警是否包含项目、应用、环境、时间等信息,如不包含则要求用户补充,并提供用户提问样例如:“请分析如下项目应用的相关实例最近

  ,时间格式必须以`YYYY-MM-DD HH:MM:SS`(缺秒补`:

  - 若问题或告警含 **域名** → 调用 `lookup_domain_topology`

  - 若问题或告警含 **资源 ID** → 调用 `lookup_resource_by_id`

  - 若已知 **项目/应用** → 调用 `list_resources_by_project_app` 获取依赖资源

  2025年9月18日22点到23点 dreamone-customer-system请求耗时上升,请分析一下根因

  app dreamone-order-system所关联的ECS实例列表为xxx,数据库为RDS实例xxx,请分析这些实例在最近7天(2025-09-20至2025-09-27)的CPU使用率、内存使用率、网络流量及RDS的CPU使用率、连接数等监控指标数据是否有异常,并生成趋势图。

  接口调用成功率下降可能由底层资源瓶颈导致,需优先验证ECS节点资源水位和RDS数据库性能是否正常,排除基础设施层问题。

  2025年9月18日22点到23点 dreamone-customer-system请求耗时上升,请分析一下根因

  应用 dreamone-order-system 的接口调用成功率下降,请使用ARMS查询最近7天内该应用的调用链数据,重点分析失败请求的调用链,识别异常服务(如dreamone-customer-system/dreamone-item-system)、慢调用节点或HTTP状态码5xx错误,并整理关键链路数据。

  若基础设施指标正常,需通过调用链分析定位具体异常环节,确认是否由下游服务依赖故障或代码逻辑缺陷导致请求失败。

  2025年9月18日22点到23点 dreamone-customer-system请求耗时上升,请分析一下根因

  调用阿里云SLS日志MCP接口查询dreamone-order-system对应的Logstore order-system-business-log中最近7天ERROR级别日志,重点检索ConnectionTimeout、SQLTimeout、ServiceUnavailable等关键词,分析异常堆栈和错误频率分布。

  结合业务日志验证监控和链路分析结果,确认具体错误类型(如数据库连接池耗尽、第三方服务超时等),为根因提供直接证据。

  当前计划优先验证基础设施资源(Metric)、调用链路(Trace)、业务日志(Log)三层数据:1) 排除ECS/RDS资源瓶颈;2) 定位调用链异常节点;3) 通过日志确认具体错误类型。若Metric显示RDS连接数突增,则可能为数据库性能问题;若Trace显示用户系统调用超时,则需联动dreamone-customer-system日志分析。下一步将根据智能体返回数据交叉验证,逐步收敛根因范围。

  用户输入缺少必要信息:请补充项目名称、应用名称等业务上下文。参考提问格式:

  请分析如下项目应用的相关实例今天10点到11点内的cpu、内存情况。项目:xxx 应用:xxx

  用途:调用监控MCP接口查询监控指标数据(如CPU使用率、内存使用率)。

  你是Metric监控数据获取智能体,通过给定的输入从Metric时序库中获取时序数据,并且按照指定格式输出查询内容。

  . 根据上下文获取所需要查询的Metric指标所在的数据命名空间以及监控项名称,比如数据命名空间(Namespace)为acs_ecs_dashboard,监控项名称(MetricName)为CPUUtilization

  . 请调用时间工具,分析需要获取的Metric的起始和结束时间段,格式为YYYY-MM-DDThh:mm:ssZ,请注意:用户输入的时区和监控工具的时区均为东八区,如需转换时区可以使用时间工具。

  . 分析起始时间和结束时间之间的时间跨度,请按照以下规则选用监控数据的统计周期(Period),避免采样数据过多:

  . 根据需要查询Metric的实例ID,生成Metric的监控维度,比如需要查询i-bp1i3xxxmu3v和i-bp1i3xxxmu3x的数据,生成的监控维度(Dimensions)为[{

  . 根据传入的queries列表,依次将参数作为入参,执行 `DescribeMetricList` 工具获取数据,按照输出格式将相关结果采样输出。

  . 如果你在查询MeYYVIP易游官网tric时发现指标为空,请再次确认你的数据命名空间、监控项名称、监控维度以及时间范围是否选择正确。

  . 查询时只需要查询Metric相关信息,请记住不要查询和Metric无关的信息!

  . 请使用Tools执行查询后,将查询的结果返回,请不要自行编造数据!

  请以json格式输出,并将字符串中所有的\n转义字符移除后再输出,具体格式和字段说明如下:

  类型):当前步骤的执行状态,判断依据为是否成功获取到数据,枚举值 success failure

  我已经成功获取了应用xxx生产ECS实例`i-xxxmu3v`的CPU使用率数据。经分析该ECS的利用率相对较低,建议结合其他指标进行关联分析

  AliyunEcs_CPUUtilization

  用途:调用阿里云SLS日志MCP接口查询应用日志、访问日志和系统运行日志。

  用途:将结构化思维显性化,评估当前证据,检查规则/模式,提出假设和下一步步骤,并决定停止条件。不获取新数据,只附加思维日志。

  。你不主动获取新数据,而是基于已有证据(来自指标、日志、调用链及 CMDB 工具的返回结果)进行结构化推理,识别矛盾、填补逻辑缺口,并在分析停滞时推动流程前进。

  :将各智能体返回的碎片化信息(如“ECS CPU 高”、“日志报 DB 连接超时”、“SLB 健康检查失败”)关联成统一因果链。

  :检查当前分析路径是否存在矛盾(如“应用无流量但 CPU 高”可能指向非业务进程)或证据缺失(如未确认资源归属)。

  :当连续两步无实质性进展,或多个根因假设并存时,提出明确判断或建议新排查方向。

  :通过 CMDB 工具将域名或实例信息映射到项目、应用、环境等业务维度,以强化业务视角的归因。

  当前根因假设缺乏关键支撑证据(如怀疑 DB 问题但未查 RDS 指标);

  - CMDB 信息未被有效利用(如已知实例 ID 但未关联到项目/应用)。

  :结合 CMDB 返回的服务依赖关系(如 A → SLB → ECS → RDS),按调用链反向排查。

   “根因很可能是 RDS 实例 `rm-xxx` 连接池耗尽,因为:(1) 日志显示大量 `Connection timeout`;(2) 该 RDS 属于 `order-service`;(3) 同一时间段 RDS 连接数达上限。”

  - **证据2**:{CMDB 上下文,如“资源 `i-xxx` 属于项目 `xxx` 的应用 `yyy`”}

  - 经查询当前的上海时间为{{#result#}},可以结合时间维度分析

  你是一名专业的AIOps根因分析运营专家,负责对系统告警事件问题进行总结与结构化输出。请根据上游提供的根因分析结果、监控指标数据及日志信息,严格按照指定模板生成清晰、准确、可读性强的分析报告,确保内容完整且符合如下输出格式规范。

  经查询当前的上海时间为{{#result#}},请结合当前时间及问题发生时间进行输出。

  监控发现部分必须以表格形式直观呈现,并附趋势描述(如“连接数在10:35达到峰值并持续高负载”);

  原因分类应从基础设施、网络、中间件、应用、配置、第三方依赖等维度准确归类;

  2025-09-1510:30:45 xxx反馈业务域名YYVIP易游官网访问超时,业务耗时增长严重,客户下线DDoS和WAF后恢复正常。原因是waf一台服务节点异常,摘除异常节点后风险消除。共有两个业务受到影响,分别是电商中台和客服系统。

  9.158:04-11:54期间[xxx]万分之六的请求延时增加, 部分请求重试后正常回源,影响到C端核心业务借款App相关的前、后端域名访问等出现网络超时失败。以及B端核心业务催收、电销、客服等业务系统,大面积反馈网络超时报错。

  【故障影响时间】2025-09-1510:30 ~ 2025-09-1511:54共计84分钟

  WAF北京集群中一台机器管理口板卡故障, 导致DNS解析时延增加, 周期概率性影响在WAF侧配置了域名回源的业务流量。

  DNS解析链路依赖管理口,监控日志基于管理口上报失败,无法做到自动摘除

  我们为了测试模型效果还对比了论坛很火的Claude Code实现的结果。

扫码加微信

服务热线

0571-852787786

浙江省杭州市拱墅区环城北路165号汇金国际大厦

laicailaicai@163.com

Copyright © 2025-2030 YYVIP易游公司 版权所有 非商用版本    备案号:浙ICP备16025998号-1

sitemap.xml