数据中台产品能力图谱：从竞品拆解看企业数据平台的核心模块设计

IMA知识库源材料汇编

一、知识库文档索引

竞品分析类（4份）

1. 数据中台竞品分析-阿里Dataphin.pptx - media_id: ppt_87c25784b637b45174d55622547419e9_320941275408db27c719fa05e9c76feb7461981346862271
2. 数据中台竞品分析-华为DGC.pptx - media_id: ppt_87c25784b637b45174d55622547419e9_c236a3d995b689565ea371c9dd5e17827461981346862271
3. 数据中台竞品分析-北明数据治理.pptx - media_id: ppt_87c25784b637b45174d55622547419e9_1032ca258f9e075e3bda06074b6490637461981346862271
4. 数据中台竞品分析-数澜数栖.pptx - media_id: ppt_87c25784b637b45174d55622547419e9_cc6342418837391241a9f66cb99b16457461981346862271

产品白皮书/解决方案类（3份）

5. 数据中台产品白皮书.pdf - media_id: pdf_87c25784b637b45174d55622547419e9_55e50abb929814f9038f52080cbc25487461981346862271
6. 数据中台解决方案.docx - media_id: word_87c25784b637b45174d55622547419e9_2641ae451407924cdf3ee7c2b5f3d6bb7461981346862271
7. 智能智造数据中台宣传材料20220624.docx - media_id: word_87c25784b637b45174d55622547419e9_abe765a67cba9ea7de4cdb8c4862746c7461981346862271

产品介绍类（1份）

8. 美林数据中台-产品介绍.pptx - media_id: ppt_87c25784b637b45174d55622547419e9_8cabeae8f67030015cd838d7b64167727461981346862271

二、竞品分析详细内容

2.1 阿里Dataphin竞品分析

产品定位： 基于OneData方法论输出的一站式企业级数据中台

核心模块：

1. 数据集成（采集）：整库迁移，快速生成批量同步任务；一键生成目标表
2. 数据开发：维度建模提交发布后，自动生成代码与调度任务，支持脚本加工
3. 数据萃取：ID中心（实体OneID）、行为中心（定义行为元素/规则）、标签中心（生成标签，形成客户画像）
4. 资产中心：围绕维度建模结果进行质量、安全、元数据、资产地图管理（不支持企业全局资产盘点及治理）

OneData方法论核心：

• 规范定义：定义数据域、业务过程、维度、原子指标、业务限定、时间周期和派生指标
• 规范建模(维度建模)：业务分析需求转换为派生指标, 并分解为原子指标和业务限定
• OneID：识别基础数据，规范化管理及映射，输出OneID
• 主题式服务：面向业务主题的数据查询，发布API提供服务

产品架构特点： 一站式提供数据采、建、管、用全生命周期的大数据能力

• 质量规则仅支持波动和对比类型
• 生产环境与开发环境隔离
• 支持离线数据 + 实时数据

数据集成能力：

• 支持整库迁移和一键生成目标表
• 支持数据清洗转换
• 支持自定义数据源组件
• 离线数据源：MaxCompute、MySQL、SQL Server、PostgreSQL、Oracle、HDFS、Hive、FTP、Vertica、DRDS、AnalyticDB、Elasticsearch、HBase、MongoDB、LogHub
• 实时数据源：DRDS、DataHub、Aliyun_Hbase、Log_Service、Tablestore、Kafka和RocketMQ

规范建模层次：

• 主题域建模 → 概念建模 → 逻辑建模 → 业务分析建模

数据萃取：

• 定义实体ID，输出ID映射表
• 定义行为元素及行为规则
• 生成标签，形成客户画像

数据治理能力：

• 规范定义：数据域、业务过程、维度、原子指标、业务限定、时间周期和派生指标
• 数据资产：资产全景、流动、结构化、资产地图、目录呈现、数据详情、血缘
• 数据质量：规则(波动和对比)、强规则可阻塞下游作业、质量监控及预警、质量报告
• 数据安全：权限控制(业务板块/项目/数据源)、密级管理(自动+手动分类分级)、脱敏(脱敏规则/算法/加解密算法)
• 资源治理：优化计算存储资源、资源统计分析、治理项配置、治理工作台

主要应用场景：

1. 输出主题式数据服务，提高数据化运营效率（餐饮品牌案例）
2. 建设客户画像体系，赋能企业精准营销（电商平台案例）

Dataphin vs DataWorks区别：

• Dataphin：输出阿里巴巴数据中台方法论，严格按照维度建模理论构建数据中台
• DataWorks：大数据开发治理平台，不限制开发者，支持多种建模理论

Dataphin优劣势：

• 产品定位：基于指标体系构建中台，以OneData方法论为核心
• 优势：零售、金融、政务、互联网行业成功案例多
• 劣势：需严格按照维度建模理论构建，使用灵活度低；价格较高，不支持定制；质量规则仅支持波动和对比类型

2.2 华为DGC竞品分析

产品定位： 基于华为智能数据湖解决方案的一体化数据治理平台

核心模块：

1. 数据集成（CDM）：全向导式配置和管理，支持多源异构数据的单表、整库、增量、周期性数据集成
2. 数据开发（DLF）：降低用户使用大数据门槛，帮助快速构建大数据处理中心
3. 数据治理：一站式元数据管理、数据标准管理、数据质量管理、数据安全管理
4. 开放共享：统一数据标准，统一访问接口，通过智能数据湖实现数据共享共治

数据集成能力（CDM）：

• 支持类型丰富：MySQL、PG、SQLServer、Oracle、DB2、Redis、MongoDB、HDFS、HBase、Hive、DWS、DLI、FTP、SFTP、HTTP、DIS、Kafka、ES、OBS、OSS
• 常见数据库支持自动创建表
• 可记录脏数据、可备份/恢复、支持整库迁移

数据开发能力（DLF）：

• 数据管理：数据库连接、创建物理表、预览数据
• 脚本开发：支持SQL、Shell、Python；支持使用变量和函数；多人协同、编辑锁定
• 作业开发：支持批处理与实时处理；节点类型丰富；可配置全局作业参数；作业间可配置依赖
• 调度运维：调度执行概览；支持短信、邮件、HTTP预警

数据治理能力：

• 规范设计：业务元数据管理(主题/标准/模型/指标设计)；标准关联字段后支持自动生成质量规则；支持关系与维度两种建模方式；支持逆向建模
• 数据资产：技术元数据采集；业务与技术元数据关联；资产地图/目录呈现；业务指标检查
• 数据质量：内置规则与自定义规则；部分规则可生成脏数据；支持数据对账
• 数据安全：权限控制(库/表/列/行)；密级管理；脱敏(掩码/截断/哈希)；支持数据嵌入水印与溯源
• 数据服务：配置模式生成API；脚本模式生成API；支持流量控制

DGC关键特点：

• 对华为大数据环境与数据库依赖度高，与外部产品适配性差
• 外部数据库仅支持Oracle(数据质量/数据服务)与MySQL(数据资产/数据质量)
• 标准功能定位与方案一致，DGC不支持任何二次开发

DGC优劣势：

• 品牌影响：华为企业实力与数据治理体系影响力均占明显优势
• 咨询能力：华为咨询能力较强，《华为数据之道》影响范围大
• 产品能力：DGC功能完善但学习成本较大，使用难度高
• 价格：DGC价格极高

2.3 北明数据治理竞品分析

产品定位： 一站式的数据治理平台

产品特性： 数仓建设思路体现少，更偏向技术人员使用

产品逻辑/主流程：

• 数据源管理 → 元数据采集 → 物理模型 → 数据工厂(程序开发/脚本开发) → 标准化管理 → 数据质量 → 数据安全 → 数据目录 → 数据服务 → 运营监控 → 权限管理

操作特点：

1. 操作主流程简单：权限控制简单；层级主题弱化，仅作为属性使用
2. 操作技术要求高：元数据采集、API编排功能中配置技术参数多；数据工厂中提供大量写脚本、写程序的功能
3. 独立的运维功能：运维监控支持对平台的所有调度、任务、进程、服务及Agent进行实时监控

应用场景：

1. 数据汇聚：建立元数据采集、数据汇总、处理机制
2. 数据治理：通过数据标准、元数据管理、数据质量、数据安全实现多源数据一体化管控
3. 数据开发：基于图形化批流数据开发工具
4. 数据共享：提供多样化的数据服务

数据治理能力：

• 元数据管理：支持多种类型采集(数据库/kettle/帆软报表/HDFS/PDM/DDL)；逻辑模型、物理模型、文件元数据、指标元数据、报表元数据；血缘分析、影响分析
• 标准化管理：主题、维度、枚举项、命名、元模型属性标准维护；标准发布审批流程
• 数据质量：规则库(内置规则/表达式自定义规则)；检查方式(SQL检查/离线处理检查/实时流处理检查)；质量问题单创建、整改、跟踪
• 数据安全：数据脱敏支持函数处理；多种数据加密算法；内置安全驱动
• 数据资产目录：物理模型目录、数据服务目录、逻辑模型目录等；订阅可直接在目标源中生成目标表

2.4 数澜·数栖竞品分析

产品定位： “一站式大数据研发管理平台"解决"存、通、用、治”

核心模块： 交换、开发、治理、标签

产品架构： 一站式数据交换、开发、治理、运营平台

数据交换：

• 数据网关管理
• 数据资源编目
• 交换任务管理
• 审计日记、监控告警

数据开发（核心能力）：

• 项目制，开发测试生产环境隔离
• 离线开发：可视化业务流程编排，拖拽式依赖关系配置；脚本模式
• 实时开发：集成常用算子，支持SQL脚本开发自定义算子，拖拉拽编程模式
• 算法开发：封装100+算法组件，支持拖拉拽创建算法实验
• 服务开发：开发API接口
• 单独的运维中心，统一进行任务调度管理
• 数据集成支持30+数据库、实时数据同步

数据治理：

• 数据源管理/接入
• 数据标准：按业务板块、业务过程等维度进行数据规划
• 数据模型：支持维度建模；支持公共字段库，可在建模时复用
• 数据质量：支持表级质量探查；字段波动性检查；支持基于质量评估结果阻塞数据开发作业
• 数据安全：支持自动分级分类(机器学习和自然语言处理)；自动识别敏感数据并脱敏加密
• 元数据：支持手动/自动采集；自定义元模型
• 资产全景/数据地图：提供数据概览；支持血缘分析；数据生命周期管理；超期清理

标签中心（特色能力）：

• 标签加工：支持TQL形式(类SQL)和可视化方式两种标签加工模式
• 标签管理
• 标签应用：群体分析、人物画像、人群圈选
• 数据服务：开发基于标签数据模型的服务
• 通过实体、关系、标签构建逻辑模型，构建标签数据仓库

数栖优劣势：

• 产品可适配多种外部大数据平台，无绑定销售策略
• 从数据开发以及标签构建为起源，偏技术性
• 在电商金融行业有优势
• 咨询方法论完善，出过相关书籍

三、数据中台产品能力体系（白皮书核心内容）

3.1 产品定位与背景

数据中台概念于2018年下旬被提出。对于拥有成熟主营业务、业务场景更复杂的传统企业，数据中台建设对参与方能力要求更高。

数据中台倡导"咨询+平台+内容资产"三位一体的整体解决方案，帮助企业构建"让数据持续用起来"的运营机制。

3.2 八大核心产品能力

1. 数据架构统一落地能力

   • 支持数据规划相关的主题域、实体、实体分布、数据流向关系统一管理
   • 规划成果可落地，用于后续主题模型设计
   • 解决咨询规划束之高阁的现实问题

2. 模型的一致性感知能力

   • 支持逻辑模型正向建模与物理模型逆向生成逻辑模型
   • 支持物理模型正向建模及逻辑模型物化为物理模型
   • 自动感知逻辑模型与物理模型、物理模型与库表之间一致性

3. 多源异构数据整合能力

   • 支持Oracle、MySQL、SQLServer、Hive、HBase、MongoDB、达梦、人大金仓、DB2、PostgreSQL、Greenplum等
   • 数据录入、文件导入、集成接入、数据同步、数据托管(逻辑接入)多种策略
   • 支持结构化数据和非结构化数据统一管理

4. 完备的数据质量管控能力

   • 完备的数据质量体检机制
   • 支持大批量数据质量检查，输出质量报告及脏数据明细
   • 支持低分预警和任务执行异常预警

5. 贯标评估与执行落地能力

   • 数据元标准、枚举项标准的定义、发布、废止统一管理
   • 标准下发检查贯标情况，输出贯标评估报告
   • 标准规则直接生成质量规则

6. 基于目录的数据服务能力

   • 输出企业级数据资产目录
   • 数据订阅，经审批后自动发布数据服务接口
   • 零代码开发

7. 数据融合与血缘分析能力

   • 拖拽式数据加工：横连接、纵连接、字段拆分、函数赋值、计算等
   • 实现ODS→DW→DM层处理
   • 自动解析数据加工血缘关系，支持外部ETL文件解析

8. 数据智能分析一体化能力

   • 自助式可视化设计与展现，40+可视化图形组件
   • 数据挖掘分析与深度学习，120+算法模型
   • 支持自定义脚本扩展算法

3.3 产品功能架构（五大子系统）

① 数据规划子系统

• 数据架构规划：业务主题维护/概览、数据实体维护/分布、数据流向维护/地图
• 数据分析规划：分析主题、指标标准、指标定义、分析指标
• 数仓规划：ODS原始数据层、DWD业务明细层、DWS轻度汇总层、DM应用分析层、DIM公共维度层
• 数据组织规划、规划文档管理
• 成熟度评估(DCMM)

② 数仓建设子系统

• 数据源管理：支持多种关系型/非关系型/国产数据库统一注册管理
• 逻辑模型：正向建模、逆向建模、属性管理、版本管理、生成物理模型、模型关系维护
• 物理模型：界面新增、模型复制、模板导入、抽取模型、映射模型、数据加工发布
• 模型配置：属性配置、页面展示、模型一致性感知
• 数据采集：业务源库采集(跨库同步)、线下数据录入、采集接口管理
• 数据加工：拖拽式流程设计器、17种数据处理组件、多种更新策略
• 文件管理：文件属性自定义、存储(HDFS/HBase/磁盘)、预览
• 数据浏览：数据盘点、数据明细查看、参考数据(数据字典)
• 数据权限：数据源权限、主题权限、字段权限、行权限、按钮权限

③ 数据治理子系统

• 数据标准：枚举项标准、数据元标准、标准执行评估(贯标评估)、标准文件管理
• 数据质量：质量规则(11种类型)、质量权重、质量评估、任务监控、质量报告、脏数据明细、质量预警
• 数据标签：公共标签、私有标签、引用标签
• 元数据管理：元数据概览、元数据查看
• 元数据血缘：血缘分析(自动解析+手动维护)、影响分析、全链分析
• 数据安全：数据脱敏(5种方式)、传输加密、敏感信息发现

④ 数据服务子系统

• 资产目录：数据目录(自动归集)、数据订阅(查看订阅+API订阅)、资产标签、资产检索
• 数据主题：自定义多层级主题、关联资源
• 数据共享服务：内置服务(查询/更新/元数据/字典)、自定义服务发布(5步骤)
• 流程中心：我的申请、我的审批
• 服务管理：服务用户管理、服务规范、服务日志、服务概览

⑤ 数据分析子系统

• 可视化分析BI：数据门户、可视化设计、40+图形组件
• 挖掘分析AI：120+算法模型、全流程端对端方案
• 指标体系管理

3.4 产品技术架构特点

• 微服务架构设计
• 扩展性：服务间低耦合、高内聚
• 开放性：API标准接口，支持二开
• 可靠性：任务失败重试、事务补偿机制
• 高性能：Presto+Hadoop高性能计算引擎，海量数据秒级查询
• 安全性：统一网关、统一授权、三员管理、数据加密脱敏
• 数据源兼容性：支持关系型/MPP/非关系型等多源异构数据
• 国产化支持：适配主流国产设备、操作系统、数据库、中间件

3.5 产品五大价值主张

1. 规划成果可落地 - 数据架构设计成果统一管理
2. 数仓建设一站式 - 正向与逆向模型设计，统一采集与加工
3. 数据治理体系化 - 标准、质量、安全、元数据、主数据管理
4. 数据服务自助式 - 基于资产目录的订阅与API服务发布
5. 数据应用一体化 - 指标体系管理，数据处理、分析、展现一体化

3.6 应用场景

1. 企业级数据治理咨询及建设 - 数据资源规划、数据架构设计、治理活动
2. 企业数据中台建设 - 方法论+行业资产库+平台能力三者缺一不可
3. 企业经营管控项目建设 - 全域数据归集与分析应用
4. 企业级数据共享应用建设 - 数据目录+自助订阅
5. 企业智能应用场景落地 - 数据挖掘与探索分析

四、竞品对比要点汇总

4.1 产品定位对比

4.2 核心模块覆盖对比

4.3 优劣势对比

阿里Dataphin：

• 优势：方法论完善(OneData)、零售/金融行业案例多、自动生成代码效率高
• 劣势：灵活度低(必须按维度建模)、价格高、不支持定制、质量规则弱、不支持全局资产盘点

华为DGC：

• 优势：品牌影响力大、《华为数据之道》理论影响广、安全特性丰富(水印/溯源)
• 劣势：价格极高、学习成本高、不支持二次开发、与外部产品适配性差、依赖华为生态

北明数据治理：

• 优势：运维监控独立完善、质量规则类型丰富
• 劣势：数仓建设思路弱、技术要求高、偏向技术人员使用

数澜数栖：

• 优势：数据开发能力强(离线/实时/算法)、标签中心特色功能、适配多种大数据平台、无绑定销售
• 劣势：偏技术性、制造业咨询和行业理解一般

五、行业案例（来自白皮书）

5.1 机械制造行业（全球前三工程机械企业，年销售额超1000亿）

• 挑战：20个园区200+人手工导数据、产品质量提升需求、耗能成本控制、70万台设备远程监控
• 成果：6.6PB全场景数据入湖、数据治理体系(9大类33份文档)、全业务价值链赋能

5.2 电气装备行业（60余家子公司的电力装备集团）

• 挑战：上百套业务系统、物资采购及存货数据分散
• 成果：打通ERP/PDM/BPM/WMS等系统、6个月以上存货金额下降超70%、库位面积大幅压减

5.3 兵器工业行业（央企集团）

• 挑战：国资委国资监管数字化转型、战略管控能力提升
• 成果：战略管控指标439项、国资上报指标23869项、统一数据标准

5.4 司法行政行业

• 挑战：基层负担重、行政效能低、信息化手段落后
• 成果：26条业务线数据汇聚、2500万条数据融合治理、法治全景搜索

六、数据中台核心模块设计图谱（博客框架建议）

基于竞品拆解，企业数据平台的核心模块可归纳为以下图谱：

第一层：数据接入与集成

• 多源异构数据源管理
• 批量/实时数据采集
• 整库迁移与增量同步
• 数据清洗转换

第二层：数据建模与开发

• 数据架构规划（主题域/实体/流向）
• 逻辑模型/物理模型设计
• 数仓分层（ODS/DWD/DWS/DM/DIM）
• 数据加工与ETL
• 调度与运维

第三层：数据治理

• 元数据管理（采集/血缘/影响分析）
• 数据标准管理（定义/下发/贯标评估）
• 数据质量管理（规则/评估/报告/预警）
• 数据安全管理（分级/脱敏/加密/权限）

第四层：数据资产管理

• 数据资产目录
• 数据标签
• 指标体系管理
• 数据成熟度评估(DCMM)

第五层：数据服务与共享

• 基于目录的数据订阅
• API服务自动发布
• 数据服务监控与日志
• 数据共享审批流程

第六层：数据应用与分析

• 可视化分析BI
• 数据挖掘与AI
• 标签中心/客户画像
• 主题式数据服务

以上材料来源于美林数据「数据治理知识库」，包含竞品分析PPT 4份、产品白皮书2份、解决方案文档1份、产品介绍PPT 1份、宣传材料1份，共计9份核心文档。