专场：大数据治理与测试 
关键词：数据治理、大数据测试、数据质量、数据安全 
专场出品人：张韦（云齐）  
阿里 数据测试负责人
2005年加入阿里，先后担任淘宝商城，商家事业部等多个事业部质量负责人，长期专注于质量及研发效能领域，经历了阿里巴巴多次重大的技术质量体系的变革与升级，目前担任阿里巴巴数据中台质量风险负责人及数据治理解决方案负责人。云齐在数据质量风险领域深耕多年，主导定义了阿里集团大数据质量标准，搭建数据质量风险体系并产品化服务于不同数据业态以及万人研发规模。
内容包含2个部分：
质量保障体系建设：涵盖工程质量和数据质量两个方面。工程质量包括了研发流程的质量门禁和过程质量预防；数据质量则是根据对现有系统的需求分类提炼数据质量的要求，从而对测试设计和执行摸索和规范化；打通研发和运维的监控一体化，走出DataOps的探索之路。
快速交付体系建设：依托行内devops的建设，加入了数据研发服务的内容，构建DataOps服务流水线，对接ETL代码扫描等各类质量门禁、自动化测试、血缘分析等多种研发工具，实现大数据的快速交付、快速测试；
解决大数据测试方法、工具缺失的问题，解决研发的过程和结果质量的问题。
对于一个陌生的行业的测试，如何搭建自己的测试体系，如何落地研发效能的改进
对于大数据测试的方法有一个启发作用，数据质量又是通过哪些纬度进行保障的
先后在华为、移动和微众就职，从事测试工作12年，涉及系统功能测试、性能测试、自动化测试、大数据测试和测试管理工作，入职微众后，深入研究银行分布式架构下的大数据业务测试，并通过落地相关的测试方法论、工具建设、研发流程改进来保障大数据的质量。
周翠
微众银行 资深测试工程师
待定
待定
银行核心系统大数据质量保障建设 
内容大纲
听众收益
1. 数字化时代数据治理的4大挑战
    数据量大，种类多
    数据架构复杂多样
    业务跑得快，数据跟不上
    数据团队能力不足
2. 传统数据治理手段的5大问题
    业务价值不明显，产出物以标准和文档为主
    流程重，周期长，跟不上变化
    被动式治理，靠制度约束为主
    项目制，无法持续发挥价值
3. 精益数据治理的六个新范式
    三化，场景化，轻量化，智能化
    三式，主动式，反馈式，运营式
现在企业面对的数据问题的本质是用过去的思维和工具在解决新的问题。企业数据的定位，目标，价值已经发生了本质的电话。而企业信息管理（EIM）时代构建的以资源管理为核心的数据治理体系延续了十几年，已经不再适合现在快速变化的外部环境，主数据的概念和管理理念也不再满足企业的需求，厚重的数据治理方法急需改革。精益数据方法以价值为核心，以场景为抓手，提倡主动式数据治理能够解决数字化时代的新问题。
解决传统数据治理的以下问题：
   1. 只定标准，不产生价值
   2. 治理过程繁重，周期长，投入大，价值不明显
   3. 业务方获得感不强
   4 .效果不可持续
1. 开创数据治理新思路，新视角
2. 提供解决问题的新方法，少走弯路
阿里云智能资深解决方案架构师
前thoughtworks数据智能总经理
擅长领域：企业数字化转型、企业大数据架构
史凯
精益数据方法创始人
凯哥讲故事公众号作者
待定
待定
精益数据治理六大新范式：“三化”“三式”
内容大纲
听众收益
分享内容从以下三个方面，介绍如何应对大促数据稳定性保障这一难题：
数据全链路压测、数据应用提前预演、数据变更管控检测
1. 数据全链路压测
实时流式计算压测，核心解决的问题：将机房性能、数据生产平台、存储系统、数据任务等纳入压测范围，通过充分仿真大促态下用户行为，模拟出大促的访问流量，提前验证系统在目标峰值下的性能表现。通过工具化能力建设，赋能用户完成流量预估、数据建模、链路构建、压测执行、结果分析，全链路的压测验证工作。单次压测的资源成本从十几万降低到几千元，人力投入从几十人减少到几人，三年大促0实时数据故障，100%集群性问题提前拦截，95%以上的业务问题提前发现。
离线分布式计算压测，核心解决的问题：针对日志、交易等大促期间数据量成倍数上涨的关键节点通过数据膨胀压测演练提前发现潜在风险，完成数据任务优化。通过工具化能力建设，赋能用户完成风险任务识别、数据膨胀、链路构建、压测执行、结果分析，局部链路的压测验证工作。用户随时可以开展自主压测，单次投入小时级别，资源成本千元以内，三年大促0离线数据产出故障，85%以上的任务性能问题提前发现。
2. 数据应用提前预演
核心解决的问题：针对部分数据应用场景促前没有真实数据（典型例如活动商品数据、红包玩法数据）提供了一套可行的解决方案，包含预演数据构造、预演链路构建，保障实时/离线数据可以提前生成验证数据产品功能。单人投入即可完成一个数据应用场景的预演，两年支持决策数据产品、商家数据产品、媒体屏等核心功能的数据预演，实现0故障。
核心解决的问题：针对实时流式计算任务、离线分布式计算任务，提供多样化的管控策略，减少大促期间因为重要数据任务变更引入的线上问题和故障发生；提供基础质量与规范的变更检测能力，减少变更引入低级错误的可能性。分别与集团内实时与离线的数据生产平台打通，可定制业务专属的管控检测规范，无需额外人力投入。两年支持数据中台上千次变更拦截，大促0变更导致的故障。
3. 数据变更管控检测
阿里巴巴电商大促双11、618等，峰值时段会产生大量的交易、流量数据，这些数据一方面需要通过实时流式计算提供给相关决策层快速做出决策判断、供给平台商家调整运营策略；另一方面需要通过离线分布式计算产出完整的结果数据提供各端进行复盘和策略再调整。如何保障峰值时段每秒亿级数据的平稳计算和全天万亿级数据的稳定产出，是大促数据稳定性保障面临的巨大挑战。
1. 针对具有峰值特性的大数据应用场景的保障难点，例如：数据时效保障、数据质量保障，提供解决问题的思路。
2. 介绍已落地的方案和实践，从数据全链路压测、数据应用提前预演、数据变更管控检测三个方面，介绍核心能力建设，给予存在相似场景痛点的听众启发，在方案制定、架构设计、工具建设等方面有所借鉴
阿里巴巴 数据安全生产平台技术专家。负责集团决策数据产品保障，包括数据质量、指标正确性、数据稳定性；担任部门双11、618大促PTM，组织决策数据产品、商家数据产品、平台数据产品的稳定性专项开展、风险识别与跟踪；负责部门数据安全生产，制定规范、建设工具能力，提升数据运维保障效率

擅长领域：大数据质量测试、稳定性保障、治理
鲁天龙
阿里巴巴  技术专家
待定
待定
电商大促万亿级数据稳定性保障解决方案
内容大纲
听众收益
1. 核心挑战：数据成本增速和业务增速差异
2. 主要问题：意愿、认知差异、效率及稳定性
3. 全链路分层治理：集群、额度、用量治理
4. 治理思路：奖惩机制、业务ROI治理、治理产品工具
5. 治理方案：事前事中规则管控、元数据驱动治理、错峰调度
6. 治理实践：资源管控、数据链路优化、SQL优化

随着大数据在各个行业中应用深入，计算存储需求呈现指数性增长，却和业务本身的增速存在差异，从而使得大数据本身的成本治理变得越来越重要。因此需要从组织形态、奖惩制度、平台技术、产品工具等多方发力建设一套持续高效的治理体系，达到成本可控的目标。本次议题也主要聚焦在相关治理思路和实践的分享
1. 帮助了解大数据成本治理的基本思路
2. 提供可落地的方案
3.解决或者避免部分治理实践过程中可能遇到的坑

负责淘宝、UC、高德、饿了么多个业务全域数据建设
当前负责阿里集团数据成本治理
擅长领域：  大数据研发及治理
王俊华
阿里巴巴  高级数据专家
待定
待定
大数据成本治理
内容大纲
听众收益
联系我们
票务联系（可以开发票）： 梦媛  13520678913 （微信同号）
议题投稿： Email：Speaker@qecon.net
媒体合作： 皮皮：13516196409
商务合作： 木子：15122643988

Tips：报名成功后，会收到电子二维码，大会当天凭此现场兑换参会证；
扫码可查看往届盛况
QECon公众号