专场:Agent 驱动的智能化测试:从辅助到自治
测试是智能体落地最成熟的场景。完整拆解 AI 测试演进链路:从 AI 辅助生成测试用例、Agent 自主执行测试、自主研判结果到自主闭环修复,落地 LLM 赋能下测试左移、测试右移一体化自治测试体系,输出覆盖需求到上线全流程的智能化质量落地实践。
专场出品人:仲思宇
58同城 工程效能部负责人
负责58到家测试工具体系规划与架构设计,拥有多项测试工具发明专利。深耕客户端与服务端自动化测试多年,擅长业务质量体系规划及技术赋能落地,丰富的测试平台建设与效能提升经验。
张斌
华为 测试专家
华为技术有限公司GTS业务体验领域测试专家,长期在测试技术和测试工程能力领域深耕,Web GUI测试能力构建,从Web低码和无码自动化写作->LLM辅助自主探索测试->基于多模态的文本用例自主测试Agent,在多个领域广泛使用。
待定
待定
基于多模态 Agent 的Web UI 智能化测试实践
——实现“版本转测即执行,执行即脚本,脚本即资产”
议题背景:
Web UI 产品的快速迭代特性使得传统自动化测试面临开发成本高、维护工作量大、DOM 变更导致脚本失效等困境。针对行业痛点,我们创新性的构建了基于多模态 Agent 的智能自动化测试系统,融合页面截图、DOM 结构和 OCR 文字识别,实现编号和坐标双重定位能力,统一支持 canvas 画布、GIS地图、无标签元素等复杂元素识别。通过感知、规划、校验、反思多Agent协同等机制实现文本用例自主执行与智能判断,无需人工开发维护自动化脚本。本方案已在公司多个业务线落地应用,页面元素识别率达到 90 %+,一次成功率 70 %+,月度自动执行用例 4万+,实现版本转测即自动执行,执行即可生成脚本,脚本免维护的全自动化闭环,为 Web UI测试提供了全新的技术范式。

内容大纲:
1. 业务痛点与行业技术现状分析
1.1 Web UI 测试的核心痛点:快速迭代与传统自动化的根本矛盾
1.2 行业主流自动化技术方案对比:录制回放、代码框架、低码平台的局限性
1.3 技术范式演进需求:从依赖 dom 定位到 AI 智能理解
2. 整体技术方案与创新突破
2.1 核心概念:让 AI 像人一样看懂、理解、自主执行
2.2 三大创新突破:执行范式、维护范式、能力门槛的全面突破
2.3 方案架构:多 Agent 协同+多模态识别+知识库智能检索
3. 关键技术创新
3.1 多模态元素识别技术(核心创新)
技术原理:页面截图+DOM结构+OCR文字识别的多模态融合
技术差异对比:与传统方案在定位方式、复杂元素支持、无标签元素识别上的优势
实践效果:统一支持表单、Canvas、GIS地图等各类元素
3.2 多 Agent 协同机制
Agent 角色分工:规划 Agent、感知Agent、校验Agent,反思Agent
协同创新:任务记忆共享、交叉验证、早判断机制、阻塞自愈
对比优势:动态规划自适应 vs 传统脚本线性执行
3.3 skill 知识库智能检索
按需渐进加载:降低冷启动时间,按需扩展能力
阻塞自检索:遇到执行阻塞自动补充领域知识
对比优势:Agent 能力动态生长 vs 传统架构预制操作库
4. 应用效果与价值对比
4.1 核心应用指标:元素识别率 90%+,一次成功率 70%+,月执行用例 4 万+
4.2 核心价值实现:版本转测即执行、执行即生成脚本、页面变更自适应
4.3 效率提升对比:总体交付周期从 3-4 周缩短至 1-2 天,提升 10 倍+
5. 技术创新亮点总结
5.1 范式创新:从代码自动化到智能体自动化
5.2 技术创新:多模态融合定位与多 agent 协同执行
5.3 工程创新:skill 按需加载与知识库检索
6. 适用场景与未来规划
6.1 适用场景:快速迭代的 web 产品、测试自动化转型的团队
6.2 未来规划:扩展移动端、融合性能安全检测、构建测试知识图谱
郭宁宁
百度 测试开发工程师
百度测试开发工程师;一直致力于服务端、端到端测试
待定
待定
从单点测试能力、端到端任务执行,到可信可控的 Agent 自进化体系
议题背景:
AIQA作为智能研发四层框架中的质量保障层,度小智作为AIQA面向真实测试场景打造的智能测试Agent,正在尝试让AI从一张需求卡片出发,自动完成需求理解、风险分析、Case生成、环境准备、测试执行、缺陷识别和质量报告。
但当Agent从“辅助生成”走向“自主执行”,新的问题也随之出现:Agent声称完成是否等于真实完成?长流程能否在会话结束后继续运行?多个Skill如何稳定协作?如何避免重复建Bug?线上失败又如何转化为下一轮能力改进?
本次分享将结合真实任务案例,介绍AIQA与度小智从单点能力建设到端到端质量闭环的演进过程,并重点分享我们如何通过确定性Workflow、结构化状态、独立结果判定、真实执行证据和Skill进化机制,让智能测试逐步实现“能执行、能闭环、结果可信、持续进化”。

内容大纲:
1. 智能测试不是一个大模型加一个Prompt
1.1 真正的智能测试需要:
1.2 模型推理能力
1.2.1 测试领域Skill
1.2.2 确定性Workflow
1.2.3 外部执行平台
1.2.4 状态和证据体系
1.2.5 验证与发布治理
1.3 模型适合处理理解、分析和决策;确定性系统负责状态、顺序、幂等、校验和恢复。
2. Agent说“完成”不等于任务真的完成
2.1 测试成功必须由真实证据证明:
2.1.1 是否生成正式Case;
2.1.2 是否搭建真实环境;
2.1.3 是否向Kami或Server执行器提交任务;
2.1.4 是否实际执行Case;
2.1.5 是否产生完整结果;
2.1.6 是否生成报告;
2.1.7 是否创建真实Bug。
2.2 最终结论不能只依赖Agent自然语言总结。
3. 自进化不是让AI无约束地修改自己
3.1 正确的自进化是:
真实任务暴露问题
→ 自动归类问题
→ 沉淀可复现样本
→ 形成原子能力改进
→ 冻结验证标准
→ 隔离修改
→ 独立验证
→ 灰度发布
→ 效果回流
3.2 AI可以负责发现和修复,但验证标准、预算和发布门槛必须由系统控制

听众收益:
1. 一张需求卡如何转化为完整测试任务;
2. AIQA目前已经具备哪些测试能力;
3. Agent进入真实测试流程后出现了哪些新问题;
4. 如何通过工程化手段保证结果可信和流程闭环;
5. 如何从线上问题中持续推动Skill能力进化;
牛文芳
浙银理财 测试组质量保障专家
2025.12加入浙银理财金融科技部,任职质量保障专家,负责浙银理财资产管理相关系统质量保障工作,长期从事质量工程、测试平台和AI工程化实践,浙银理财AI质量门户平台负责人;2018-2025年曾就职于阿里巴巴淘天集团,负责淘宝营销基础链路质量保障和淘天集团大促全链路表达预演;
待定
待定
Multi-Agent + 知识图谱保鲜驱动的复杂金融监管规则智能测试实践
议题背景:
银行理财资管风险限额业务规则复杂,涉及 120+ 监管限额条目、30+ 指标因子,以及产品条件、资产条件、穿透条件等多维约束。需求变更时,回归场景规模大,传统测试依赖人工判断影响范围,存在评估不准、成本高、效率低等问题。本项目构建了基于 Multi-Agent 的限额智验质量门户,串联知识图谱智能引擎 Agent、知识图谱保鲜 Agent、数据工厂 Agent 和限额智验 Agent,实现需求变更识别、图谱保鲜、回归范围推荐、数据准备、自动化校验与结果分析闭环。方案通过DSL/YAML 建模限额规则,基于 Neo4j 构建规则、指标、因子的血缘关系,并以 Harness 规范约束 AI Coding 和 Agent 执行过程,保障线上库、测试库、YAML 文件与知识图谱一致。落地后,支持全量回归场景,回归效率提升120 倍,线上缺陷逃逸率下降60%。

内容大纲:
1. 项目背景与挑战    
1.1 银行理财限额测试业务现状
1)120+ 监管条目、30+ 指标因子、条目涉及的产品条件、资产条件、穿透条件等较多,需求变更时各种条件层层叠加,变更影响面难评估,测试/回归场景规模大;
1.2 测试挑战:
1)传统自动化执行时间较长性能差跑不动,当需求变更时主要是依赖人工测试,人工成本高、效率低、且没有有效的度量手段保障回归是否完整;
2. 整体产品方案:
2.1 建设高性能、精准可度量的Multi-Agent 限额智验质量门户:
1)自然语言入口 -> 知识图谱保鲜 -> 影响范围智能推荐 -> 数据工厂一键造数 -> 自动化校验 -> 结果分析,实现限额自动化任务调度、执行追踪、结果查看、差异分析全链路闭环;
2.2 构建闭环协作Agent链:
1)知识图谱智能引擎 Agent:限额条目结构化存入知识图谱,当条件因为变更时,可以根据血缘关系推荐出影响范围;
2)数据工厂 Agent:自动匹配限额条目和指令数据关系,一键自动化造数;
3)限额智验 Agent:串联知识图谱智能引擎推荐出测试范围->数据工厂自动获取测试数据->自动化用例执行校验结果->结果分析全链路闭环;
4)知识图谱保鲜 Agent:让知识图谱从“静态资产”变成“持续更新的规则底座”;
3. 整体技术方案实现:
3.1  Harness规范+AICoding落地知识图谱智能引擎推荐和保鲜:
3.1.1 限额条目规则建模沉淀知识图谱血缘:
1)DSL+YAML 抽象 rule_id + formula + metrics ;
2)条目与因子条件实体建模:建立条目与指标因子、规则、产品条件、穿透条件之间的关系;
3)YAML 到图谱:解析规则文件->提取实体关系->生成 Cypher写入 Neo4j;
3.1.2 知识图谱智能引擎Agent+RAG召回出测试范围:
1)自然语言输入需求变化->RAG血缘召回->精准推荐测试//回归范围;
3.1.3 知识图谱保鲜 Agent:让图谱从“静态资产”变成“持续更新的规则底座”:
1)保鲜原因:线上库、测试库、DSL/YAML 和知识图谱之间会随版本持续漂移,依赖人工线下约定 SOP,容易出现更新遗漏、口径不一致、责任边界不清;
2)保鲜链路设计:自然语言输入->自动同步线上库与测试库差异 -> 建立库表与DSL YAML 映射->Agent 自动更新 YAML Prompt -> YAML 自动更新至知识图谱;
3.1.4 Harness工程搭建知识图谱智能引擎和保鲜Agent优势:
1)传统:人工写代码生成知识图谱->跑脚本->线上库限额规则发生变化->线下约定SOP同步->人改代码->再跑脚本更新图谱(慢、滞后、易错);
2)Harness式:用一个强Agent(codex)搭建知识图谱智能引擎和保鲜Agent,把 AI Coding 从“对话式生成”约束为“有输入、有步骤、有校验、有产物”的工程流程:自然语言输入-自动同步线上库与测试库差异 -> 保鲜Agent 自动更新结构化 YAML Prompt -> YAML 自动更新至知识图谱->智能推荐Agent RAG血缘关系召回->精准推荐出测试/回归范围,将复杂金融规则的限额模块的回归范围由难评估到只需要输入“自然语言指令”就可以变得精准可度量(快、实时、可验证);
3.2  基于AgentScope搭建Multi-Agent 限额智验质量门户
3.2.1 整体技术实现
1)基于AgentScope 2.0的Agent/FunctionTool能力,将知识图谱推荐、数据工厂造数、限额自动化校验等能力封装为可配置 Agent 工具,并依托 FastAPI 会话接口、SSE 流式事件、上下文记忆和任务状态管理实现可配置、可追踪、可扩展的 Multi-Agent 协同链路;
2)数据流向:用户自然语言指令 → 门户会话接口 → 编排层 →(图谱推荐 Agent → 数据工厂 Agent → 限额智验 Agent 调 Java 引擎校验 → 结果对比)→ SSE 步骤进度 → 前端展示 + 结果落库,图谱保鲜 Agent 在后台定时保持图谱与线上/测试库一致;
3.2.2 数据工厂Agent技术实现:
1)Agent能力设计:自然语言一键触发造数-调用业务造数接口-测试数据预加载内存库,自动化构建触发限额测试数据;
2)性能提升设计:测试数据提前预加载到内存数据库中,减少 Oracle 重复查询,提升查询速度;
3.2.3 限额智验 Agent技术实现:
1)Agent能力设计:串联"图谱推荐 → 一键造数 → 限额校验 → 结果对比 → 前端展示"闭环;
2)性能提升设计:限额计算校验逻辑由原始oracle内的sql计算改为java程序在Ignite 内存中计算校验;
4. 关键成效与项目收益:
4.1  整体进展:
1)基于Harness和AgentScope完成一套高性能、精准可度量的Multi-Agent 限额智验质量门户搭建,自430基础框架上线以来,已经纳入5个版本回归测试,支持新需求测试3个(双周周期迭代版本,并非每个版本都有限额新需求),需求上线后限额计算均符合预期;
4.2  使用效果:
4.2.1 场景支持和质量提升:
1)支持银行理财资管限额模块100%回归测试;
2)线上缺陷逃逸率下降60%(由5%->2%);
4.2.2 性能和效率提升:
1)Multi-Agent 限额智验质量门户相对传统自动化执行效率提升了120倍,时间节省率为99.17%;(统计口径:跑同样9条条目所花费的时间,传统自动化花费6h,新自动化框架花费3min,时间节省率=(360-3)/360*100%=99.1667%,效率提升倍数=360/3=120倍)
4.2.3 节省人力:
1)资管限额模块回归测试100%交由Multi-Agent 限额智验质量门户执行,约节省120人日/年;
2)将银行理财资管限额模块测试人力投入由2减少到1人;
5. 未来展望
5.1  智能能力深化
1)新增“变更影响分析+校验用例自动生成“Agent:因为限额计算逻辑较复杂,目前校验限额计算脚本仍然是人工编写,编写速度较慢,后续会对限额计算的各类条件规则、计算方式等进行建模,实现从需求变更分析到校验用例脚本的自动生成,提高校验脚本的沉淀速度,将保鲜从"图谱"扩展到"用例/因子口径"全域保鲜;
2)新增结果根因分析 Agent:支持报告自动生成与风险预警,版本回归结束后自动产出覆盖范围、通过率、差异明细的质量报告,异常条目自动预警;自动定位校验失败是数据、规则、引擎哪一环节,输出归因结论与处理建议,替代人工排查;
5.2 建设可运营、可度量的质量门户体系
1)后续将围绕质量门户补充更多运营指标和看板能力,包括任务执行次数、版本回归覆盖率、自动化通过率、失败原因分布、节省人力、执行耗时趋势等,让限额自动化从工具建设升级为质量运营体系。通过统一门户沉淀过程数据,为后续质量改进、测试策略优化和管理决策提供数据支撑。

听众收益:
1. 
一套"图谱血缘定范围"的智能回归方法论:掌握用 DSL+YAML 将复杂金融规则抽象为 rule_id+formula+metrics、构建知识图谱血缘,并基于 Graph RAG 从需求变化自动召回测试/回归范围的完整做法,直接解决"变更影响面难评估、回归是否完整无度量"的行业难题。
2. "Harness 保鲜"的 AI 工程化实践:学会如何把 AI Coding 从"对话式生成"约束为"有输入、有步骤、有校验、有产物"的工程流程,用强 Agent 自动同步库差异、更新 YAML、刷新图谱,解决 AI 系统上线后"规则漂移、图谱过期、越跑越脏"的核心痛点。
3. 掌握 Multi-Agent 质量门户的工程实现方法:学习如何基于 AgentScope 将知识图谱智能引擎 Agent、知识图谱保鲜 Agent、数据工厂 Agent 和限额智验 Agent 串联起来,实现“自然语言入口 -> 图谱保鲜 -> 范围推荐 -> 一键造数 -> 自动化校验 -> 结果分析”的端到端闭环。
李颖超
小红书 AI 工程架构师
小红书创新孵化实验室 AI 工程架构师,长期专注于移动端与多端协同场景的质量工程建设。近期聚焦 AI Native 研发模式下的质量保障,开展测试智能体的架构设计与工程落地,探索融合业务知识、质量策略与动态执行的智能化验证体系。关注复杂需求下的测试覆盖、执行可靠性与人机协作效率,推动质量工程能力融入 AI 研发流程,构建从需求分析到真实业务验证的智能化质量闭环。
待定
待定
小红书创新产品的 AI Native 质量工程实践
议题背景:
AI Coding 大幅提速代码交付,但需求验证环节仍依赖人工串联用例设计、造数、接口、日志、真机验证等零散工具,各能力无统一上下文共享,验证效率无法匹配研发迭代速度。针对小红书创新业务的多端测试场景,本实践搭建 AI Native 质量工程智能体(Quality Engineering Agent,QE Agent),通过上下文工程共享需求、用例与执行记录,通过多端质量知识图谱提供测试依据。依托结构化测试设计,Agent 按业务预期选择验证能力,以逻辑 DAG 组织任务依赖,再据此形成动态执行 DAG,调用能力开展测试,根据现场反馈调整路径、关联证据,完成联合断言。Quality Harness 衔接需求进度、中断恢复与报告交付。结合真实案例,展示需求验证提效成果,推动质量工程从辅助走向自治,同时沉淀可迭代的 AI 原生质量工程落地范式。

内容大纲:
1. 背景:从 AI 辅助测试,到 Agent 自主规划并完成测试验证
2. QE Agent 架构的实现
2.1 上下文工程:为 Agent 提供当前测试所需的依据与执行记录
2.2 多端质量知识图谱:关联业务入口、数据依赖与跨端调用,为验证路径提供依据
2.3 测试规划与逻辑 DAG:根据业务预期选择验证能力,组织验证任务及依赖
2.4 动态执行 DAG 与联合断言:让 Agent 执行测试、按现场反馈调整路径,并关联证据判断结果
2.5 Quality Harness:衔接能力调用、需求整体进度、补充信息、恢复与交付
3. 执行能力落地:根据多端现场反馈调整操作,按测试前置条件准备并核验数据
4. 业务实战与效果
5. 展望

听众收益:
1. 获得一套从需求到真实执行的智能测试架构:理解可信上下文、结构化测试设计、多端质量图谱、能力目录和动态 Quality DAG 如何串成完整链路。
2. 掌握面向 Agent 的测试规划方法:学习如何发现需求信息缺口,约束模型生成测试设计,并通过 Plan Validation 与 Plan Repair 补充遗漏。
3. 多端知识与动态编排的实现思路:了解如何连接原生、RN、接口与后端,以及如何将造数、Mock、日志和真机等能力按需组合。
邬淑敏
 bilibili 高级测试开发工程师
上海幻电信息科技有限公司质量保障中心高级测试开发工程师,用例生成项目负责人。具备一线业务测试与专项建设经验,曾担任业务 Owner,熟悉需求交付与质量闭环。长期从事质量保障与测试效能建设,主导 AI 用例生成引擎与平台落地。擅长 AI 辅助测试、Agent/工作流工程化、质量度量与效能提升,致力于将用例从「能生成」推进到「准召、可读、可交付」
待定
待定
从草稿到资产:ai-case 的 Graph×Loop 闭环
议题背景:
AI 出例并不稀缺,稀缺的是准召可读且能进生产:长文易衰减、双入口行为分叉、生成正确却太泛难读、过检却落不了库。根因常被误判成 Prompt,实则缺阶段定责、缺可退出的质量迭代、缺语料清洗与交付运营闭环。ai-case 的方向是:用 LangGraph 固定主链,用 loop 拉升准召与可读,用语料清洗工程治理输入,再用权限触发、在线编辑与质量看板把结果做成可运营资产——从「能生成」走向「可交付、可运营」。

内容大纲:
1. 问题与目标:从「能生成」到「准召可读可交付」
1.1 问题:长文衰减、用例太泛难读、过检却落不了库
1.2 目标口径:召回(覆盖)↑、准确(少幻觉/少误扩写)↑、可读↑,并保证可落库
1.3 技术选型:LangGraph 主图定责 + 质量 Loop 收敛 + 语料清洗与输出门控
2. 主链路工程化:多入口统一编排
2.1 方案:`prepare → generate → review → score ⇄ improve`;
2.2 抉择:准备与生成解耦;完整性检查并入评分,避免多套政策
2.3 踩坑:大模型每次输出的case效果无法得到保证
2.4 实践:共享路由与落库契约;终态结果写回,禁止中途快照单独裁决
2.5 收益:失败可归因;无效重跑下降40%
3. 质量闭环:用 Loop 拉升准召与可读
3.1 方案:Score → Improve → 同契约重评 → 交付/再改;Improve 内可挂有限 Tool 环
3.2 指标设计:覆盖≈召回;正确性+冗余控制≈准确;可读独立计分;结构保交付
3.3 实践:按缺口驱动增删改;锚点约束抑制空转提分;Tool 失败可降级继续主环
3.4 踩坑:硬回滚震荡;套话预期刷分;工具环过大导致成本与格式失控
3.5 收益:召回 55%→78%,准确60%→75%,可读达标约50%→80%;多数任务一轮内达门槛
4. 输入侧工程化:建立语料清洗工程,为准召提供可用上下文
4.1 问题:多源语料裸进模型 → 噪声高、冲突多、格式串味,直接打穿召回与准确
4.2 建设目标:升级 语料清洗工程(采集 → 清洗 → 分片 → 注入 → 验收)
4.3 工程方案
4.3.1 采集归一:多源拉齐为统一语料对象
4.3.2 清洗降噪:去壳/去重/去无关噪声;历史稿与本次隔离;
4.3.3 分片编排:按角色分块进主链,拒绝超长线性堆叠
4.3.4 检索增强:平台/业务知识并行召回,作为清洗后的补充证据
4.3.5 注入验收:应注入/已送达/是否截断可观测,未达则回流清洗
4.4 踩坑:截断不可见;参考稿污染输出;关联需求淹主需求;业务规范与平台模板冲突
4.5 收益:关键语料送达约 70%→90%+;脏语料导致的漏测与误测回流明显下降;
5. 平台功能亮点:生成前可控接入,生成后可编、可评、可运营
5.1 生成前:以空间权限治理 +平台规则化自动触发,实现组织可控的规模化接入
5.2 生成后:XMind 在线编辑与侧栏协同(打标、同步、提 Bug)一体,生成结果可继续精修、可业务收口
5.3 质量运营:单条质量透视 + 平台指标看板;保存/上传自动评估,质量从体感变为可运营数据
5.4 收益:形成「触发—生成—编辑—评估—运营」闭环;人工收口效率与质量可见性同步提升
6. 成效、边界与可迁移结论
6.1 成效:主指标看准召与可读(会上用上述量级对比 + 1~2 个样例说明);
6.2 边界:知识自进化、偏好记忆、GUI 自动执行仍在演进;优势在生产级生成引擎 + 平台运营闭环
6.3 结论:引擎拉准召可读,平台把权限、触发、编辑、评估做成可运营;先建语料清洗与评分闭环,再换更大模型;

听众收益:
1. 可落地的生产级用例 Agent 拆法:何时用主图定责、何时用质量 Loop 拉准召/可读、何时先建语料清洗工程。
2. 可对照的工程手段与踩坑:双入口统一编排、同契约重评、空转提分治理、终态落库契约等真实反模式。
3. 平台运营闭环视角:权限与自动触发、XMind 线编辑与侧栏收口、质量看板与自动评估如何把生成结果做成可运营资产,而不只是一次性演示。

瞿曦超
华泰证券 开发工程师
华泰证券股份有限公司信息技术部测试交付中心-软件质量控制团队开发工程师,目前主要负责测试交付工具的建设与运营,涵盖日志回放平台、模糊测试、自动化测试、性能测试、测试知识库等核心工具建设,保障公司交易系统、业务系统的稳定性与测试质量,持续提升测试场景覆盖度与工作质效。毕业后即加入华泰证券信息技术部,早期曾从事FICC业务线开发工作。
待定
待定
证券交易领域测试 Skill 的进化体系与知识底座支撑实践
议题背景:
证券交易系统业务复杂、迭代快、质量要求高。大模型应用于测试场景,通用能力难以直接适配具体业务系统,测试Skill需要在真实使用中持续打磨、不断进化,才能真正发挥价值。
我们围绕测试Skill的进化,建设了从使用、标注到自训练的全链路能力:使用人员对Skill输出结果进行标注,标注信息驱动Skill自我训练与迭代优化,形成”越用越准”的进化闭环。目前该体系已在5个交易系统投产10+个系统级技能,覆盖需求分析、测试设计、用例生成与执行等环节。
与进化体系配套,建设知识底座:业务文档、代码、交易所规则等多源知识统一纳管,配套混合检索与场景化验收机制保障知识供给质量。
本议题分享”进化体系+知识底座”的设计思路、差异化做法与量化成效。

内容大纲:
1. 背景与思路
1.1 证券交易领域测试AI落地的挑战:通用能力与业务系统之间的差距
1.2 我们的思路:从”建能力”到”养能力”,让Skill在使用中持续进化
2. 测试Skill进化体系
2.1 输出标注与反馈链路:测试人员标注Skill产出,反馈自归集形成问题台账(投产案例:“使用—反馈—优化”闭环运转)
2.2 基于标注信息的Skill自训练:问题自识别、能力自优化、质量自评测、运营结果自评估的进化机制
2.3 Skill全链路闭环:需求分析、测试设计、用例生成、风险识别4类Skill标准化拆分,统一嵌入测试管理平台,已支撑10+个系统级技能投产
3. 知识底座支撑
3.1 知识库建设:业务文档、代码、交易所规则多源知识统一纳管
3.2 知识的动态补充与更新:增量更新管线保障知识常新
3.3 知识质量保障:混合检索,自进化审计驱动知识库持续调优
4. 应用成效与展望
4.1 量化成效:全流程贯通试用采纳率、测试设计采纳率
4.2 展望:Skill全链路闭环的完善与向更多业务系统的复制推广

听众收益:
1. 了解测试Skill”使用—标注—自训练”进化体系的完整设计
2. 了解知识底座在多源知识纳管、动态更新、质量保障方面的工程实践与量化效果
3. 为金融测试团队规划AI能力的持续演进提供参考
李绪隆
腾讯 系统测试工程师
腾讯存储测试团队,担任系统测试工程师。长期深耕对象存储与分布式存储领域,聚焦高并发、大容量、高可用场景下的系统测试与质量建设。通过自动化测试平台、混沌工程、性能基准评测等手段,持续发现并解决底层存储瓶颈与风险,保障系统在极致规模下仍能稳定可靠运行,为腾讯海量数据存储业务提供全方位、高强度的质量保障。
待定
待定
基于LLM的全链路日志智能分析:
自动化 Case 执行路径捕获与根因定位实践
议题背景:
在质量保障过程中,传统方式难以高效追踪分散在多模块的服务端日志,导致case失败根因定位耗时长、效率低。

内容大纲:

1. 问题背景与挑战
1.1 质量保障中的日志分析痛点:多模块日志分散、人工串联效率低下
1.2 传统解决方案局限:串联不完整、跨协议支持不足、缺乏智能分析能力
2. LLM驱动的全链路日志分析架构设计
整体架构:case_tracer + log_tracer + case_analysis + post_processor四位一体
3. 核心组件实现与技术亮点
3.1 case_tracer:非侵入式case执行路径捕获
3.1.1 无代码侵入的Python库设计
3.1.2 多协议(HTTP/RPC)请求自动捕获机制
3.2 log_tracer:全链路日志精准捕获
3.2.1 双模式设计:mcp-server(LLM自驱动) vs 分布式server(配置驱动)
3.2.2 关键技术:关键字转换、模块跳转信息获取
3.3 skill_creator:知识自动化转化
3.3.1 从wiki/代码库自动生成追踪skill
3.3.2 skill到log_tracer配置的自动化固化
3.4 post_processor:分析后处理
关注QECon公众号
关注QECon视频号
议题投稿
speaker@qecon.com.cn
商务合作
151-2264-3988  木子
票务联系
159-0126-5561 小娟 
媒体合作
135-1619-6409  皮皮
购票咨询
小娟 15901265561
服务总线
400-183-9980  
电话咨询
联系电话:
翟国娟 15901265561