Multi-Agent + 知识图谱保鲜驱动的复杂金融监管规则智能测试实践
议题背景:
银行理财资管风险限额业务规则复杂,涉及 120+ 监管限额条目、30+ 指标因子,以及产品条件、资产条件、穿透条件等多维约束。需求变更时,回归场景规模大,传统测试依赖人工判断影响范围,存在评估不准、成本高、效率低等问题。本项目构建了基于 Multi-Agent 的限额智验质量门户,串联知识图谱智能引擎 Agent、知识图谱保鲜 Agent、数据工厂 Agent 和限额智验 Agent,实现需求变更识别、图谱保鲜、回归范围推荐、数据准备、自动化校验与结果分析闭环。方案通过DSL/YAML 建模限额规则,基于 Neo4j 构建规则、指标、因子的血缘关系,并以 Harness 规范约束 AI Coding 和 Agent 执行过程,保障线上库、测试库、YAML 文件与知识图谱一致。落地后,支持全量回归场景,回归效率提升120 倍,线上缺陷逃逸率下降60%。
内容大纲:
1. 项目背景与挑战
1.1 银行理财限额测试业务现状
1)120+ 监管条目、30+ 指标因子、条目涉及的产品条件、资产条件、穿透条件等较多,需求变更时各种条件层层叠加,变更影响面难评估,测试/回归场景规模大;
1.2 测试挑战:
1)传统自动化执行时间较长性能差跑不动,当需求变更时主要是依赖人工测试,人工成本高、效率低、且没有有效的度量手段保障回归是否完整;
2. 整体产品方案:
2.1 建设高性能、精准可度量的Multi-Agent 限额智验质量门户:
1)自然语言入口 -> 知识图谱保鲜 -> 影响范围智能推荐 -> 数据工厂一键造数 -> 自动化校验 -> 结果分析,实现限额自动化任务调度、执行追踪、结果查看、差异分析全链路闭环;
2.2 构建闭环协作Agent链:
1)知识图谱智能引擎 Agent:限额条目结构化存入知识图谱,当条件因为变更时,可以根据血缘关系推荐出影响范围;
2)数据工厂 Agent:自动匹配限额条目和指令数据关系,一键自动化造数;
3)限额智验 Agent:串联知识图谱智能引擎推荐出测试范围->数据工厂自动获取测试数据->自动化用例执行校验结果->结果分析全链路闭环;
4)知识图谱保鲜 Agent:让知识图谱从“静态资产”变成“持续更新的规则底座”;
3. 整体技术方案实现:
3.1 Harness规范+AICoding落地知识图谱智能引擎推荐和保鲜:
3.1.1 限额条目规则建模沉淀知识图谱血缘:
1)DSL+YAML 抽象 rule_id + formula + metrics ;
2)条目与因子条件实体建模:建立条目与指标因子、规则、产品条件、穿透条件之间的关系;
3)YAML 到图谱:解析规则文件->提取实体关系->生成 Cypher写入 Neo4j;
3.1.2 知识图谱智能引擎Agent+RAG召回出测试范围:
1)自然语言输入需求变化->RAG血缘召回->精准推荐测试//回归范围;
3.1.3 知识图谱保鲜 Agent:让图谱从“静态资产”变成“持续更新的规则底座”:
1)保鲜原因:线上库、测试库、DSL/YAML 和知识图谱之间会随版本持续漂移,依赖人工线下约定 SOP,容易出现更新遗漏、口径不一致、责任边界不清;
2)保鲜链路设计:自然语言输入->自动同步线上库与测试库差异 -> 建立库表与DSL YAML 映射->Agent 自动更新 YAML Prompt -> YAML 自动更新至知识图谱;
3.1.4 Harness工程搭建知识图谱智能引擎和保鲜Agent优势:
1)传统:人工写代码生成知识图谱->跑脚本->线上库限额规则发生变化->线下约定SOP同步->人改代码->再跑脚本更新图谱(慢、滞后、易错);
2)Harness式:用一个强Agent(codex)搭建知识图谱智能引擎和保鲜Agent,把 AI Coding 从“对话式生成”约束为“有输入、有步骤、有校验、有产物”的工程流程:自然语言输入-自动同步线上库与测试库差异 -> 保鲜Agent 自动更新结构化 YAML Prompt -> YAML 自动更新至知识图谱->智能推荐Agent RAG血缘关系召回->精准推荐出测试/回归范围,将复杂金融规则的限额模块的回归范围由难评估到只需要输入“自然语言指令”就可以变得精准可度量(快、实时、可验证);
3.2 基于AgentScope搭建Multi-Agent 限额智验质量门户
3.2.1 整体技术实现
1)基于AgentScope 2.0的Agent/FunctionTool能力,将知识图谱推荐、数据工厂造数、限额自动化校验等能力封装为可配置 Agent 工具,并依托 FastAPI 会话接口、SSE 流式事件、上下文记忆和任务状态管理实现可配置、可追踪、可扩展的 Multi-Agent 协同链路;
2)数据流向:用户自然语言指令 → 门户会话接口 → 编排层 →(图谱推荐 Agent → 数据工厂 Agent → 限额智验 Agent 调 Java 引擎校验 → 结果对比)→ SSE 步骤进度 → 前端展示 + 结果落库,图谱保鲜 Agent 在后台定时保持图谱与线上/测试库一致;
3.2.2 数据工厂Agent技术实现:
1)Agent能力设计:自然语言一键触发造数-调用业务造数接口-测试数据预加载内存库,自动化构建触发限额测试数据;
2)性能提升设计:测试数据提前预加载到内存数据库中,减少 Oracle 重复查询,提升查询速度;
3.2.3 限额智验 Agent技术实现:
1)Agent能力设计:串联"图谱推荐 → 一键造数 → 限额校验 → 结果对比 → 前端展示"闭环;
2)性能提升设计:限额计算校验逻辑由原始oracle内的sql计算改为java程序在Ignite 内存中计算校验;
4. 关键成效与项目收益:
4.1 整体进展:
1)基于Harness和AgentScope完成一套高性能、精准可度量的Multi-Agent 限额智验质量门户搭建,自430基础框架上线以来,已经纳入5个版本回归测试,支持新需求测试3个(双周周期迭代版本,并非每个版本都有限额新需求),需求上线后限额计算均符合预期;
4.2 使用效果:
4.2.1 场景支持和质量提升:
1)支持银行理财资管限额模块100%回归测试;
2)线上缺陷逃逸率下降60%(由5%->2%);
4.2.2 性能和效率提升:
1)Multi-Agent 限额智验质量门户相对传统自动化执行效率提升了120倍,时间节省率为99.17%;(统计口径:跑同样9条条目所花费的时间,传统自动化花费6h,新自动化框架花费3min,时间节省率=(360-3)/360*100%=99.1667%,效率提升倍数=360/3=120倍)
4.2.3 节省人力:
1)资管限额模块回归测试100%交由Multi-Agent 限额智验质量门户执行,约节省120人日/年;
2)将银行理财资管限额模块测试人力投入由2减少到1人;
5. 未来展望
5.1 智能能力深化
1)新增“变更影响分析+校验用例自动生成“Agent:因为限额计算逻辑较复杂,目前校验限额计算脚本仍然是人工编写,编写速度较慢,后续会对限额计算的各类条件规则、计算方式等进行建模,实现从需求变更分析到校验用例脚本的自动生成,提高校验脚本的沉淀速度,将保鲜从"图谱"扩展到"用例/因子口径"全域保鲜;
2)新增结果根因分析 Agent:支持报告自动生成与风险预警,版本回归结束后自动产出覆盖范围、通过率、差异明细的质量报告,异常条目自动预警;自动定位校验失败是数据、规则、引擎哪一环节,输出归因结论与处理建议,替代人工排查;
5.2 建设可运营、可度量的质量门户体系
1)后续将围绕质量门户补充更多运营指标和看板能力,包括任务执行次数、版本回归覆盖率、自动化通过率、失败原因分布、节省人力、执行耗时趋势等,让限额自动化从工具建设升级为质量运营体系。通过统一门户沉淀过程数据,为后续质量改进、测试策略优化和管理决策提供数据支撑。
听众收益:
1. 一套"图谱血缘定范围"的智能回归方法论:掌握用 DSL+YAML 将复杂金融规则抽象为 rule_id+formula+metrics、构建知识图谱血缘,并基于 Graph RAG 从需求变化自动召回测试/回归范围的完整做法,直接解决"变更影响面难评估、回归是否完整无度量"的行业难题。
2. "Harness 保鲜"的 AI 工程化实践:学会如何把 AI Coding 从"对话式生成"约束为"有输入、有步骤、有校验、有产物"的工程流程,用强 Agent 自动同步库差异、更新 YAML、刷新图谱,解决 AI 系统上线后"规则漂移、图谱过期、越跑越脏"的核心痛点。
3. 掌握 Multi-Agent 质量门户的工程实现方法:学习如何基于 AgentScope 将知识图谱智能引擎 Agent、知识图谱保鲜 Agent、数据工厂 Agent 和限额智验 Agent 串联起来,实现“自然语言入口 -> 图谱保鲜 -> 范围推荐 -> 一键造数 -> 自动化校验 -> 结果分析”的端到端闭环。