首页/ 产品/ ETL 数据工厂
MODULE · 02 REAL-TIME ETL Factory · 数据工厂

ETL 数据工厂

基于 Flink + CDC 的实时数据管道 — 数据抽取、清洗、转换、装载一站式自动化,构建企业级 ODS / DW / ADS 分层数据仓库,消灭数据孤岛。

SOURCES MySQL · Oracle SQL Server · PG SAP · 用友 · 金蝶 Kafka · MQ RESTful API Excel · CSV · TXT FTP · S3 · OSS 物联网 / 串口 低代码表单 ETL PIPELINE · FLINK + CDC 01 · 抽取 EXTRACT 02 · 清洗 CLEAN 03 · 转换 TRANSFORM 04 · 装载 LOAD MONITOR · 任务调度 · 血缘追溯 · 数据质量 DolphinScheduler · Airflow · 内置可视化调度 DATA WAREHOUSE ODS 操作型数据层 DW 主题数据层 ADS 应用数据层 "沉淀企业数据资产"
CAP · 01

实时数据集成

Flink + CDC 双引擎,毫秒级感知源端变更,实时入仓。

CAP · 02

200+ 数据源

主流数据库、SaaS、ERP、IoT、文件、API — 应接尽接。

CAP · 03

可视化编排

拖拽式 DAG 编排,无需写 Spark / Flink 代码即可上线。

CAP · 04

数据治理

血缘追溯、质量监控、指标管理、维度建模四件套齐全。

I. 核心能力 · CAPABILITIES

十项能力,
采、清、转、载、治

F-01

多源数据接入

关系数据库、NoSQL、文件、对象存储、消息队列、SaaS、API、IoT — 200+ 连接器开箱即用,自定义连接器 SDK 自由扩展。

F-02

实时 CDC 同步

基于 Debezium / Flink CDC 监听数据库 binlog / redo log,毫秒级感知 insert / update / delete,源端零侵入。

F-03

可视化 DAG 编排

拖拽式构建数据管道,节点支持 SQL / Python / Shell / Spark,实时校验依赖关系,所见即所得部署上线。

F-04

调度与依赖

Cron 表达式 + 事件触发 + 数据到达触发,支持上下游依赖、跨工作流依赖、失败重试、补数运行。

F-05

数据质量监控

空值率、唯一性、值域、参考完整性、自定义规则五大维度持续巡检 — 异常自动告警、回滚、阻断下游。

F-06

血缘追溯

字段级、表级、任务级三层血缘自动构建,可视化展示 — 一个字段从哪来、到哪去、谁在用,一目了然。

F-07

分层数仓建模

ODS / DWD / DWS / ADS 标准四层,内置维度建模模板,支持星型、雪花、宽表三种范式 — 模型即代码,Git 版本化。

F-08

统一指标平台

原子指标 + 派生指标 + 复合指标三级体系,定义一次、全公司复用 — 杜绝"一个指标多个口径"的撕扯。

F-09

主数据 MDM

统一管理客户、供应商、物料、组织、员工等核心实体,跨系统一致性校验,主索引唯一标识。

F-10

湖仓一体

支持 Iceberg / Hudi / Paimon 三大数据湖格式,实现存储计算分离,冷热数据分层,降本最高 60%。

F-11

补数与回溯

历史区间一键重跑,智能识别上下游影响范围,避免重复计算 — 大表回溯也能在小时级完成。

F-12

API 数据服务

把指标、明细、宽表一键发布为 RESTful API / GraphQL,支持限流、鉴权、缓存 — 让业务系统反向消费数仓。

II. 分层架构 · ARCHITECTURE

四层数仓,
数据应接尽接

200+
连接器
480+
单项目接入表(国家电投实战)
毫秒
CDC 实时延迟
60%
湖仓存储成本下降
LAYER · ADS
应用数据层
BI 报表大屏驾驶舱API 数据服务 算法特征集对外数据产品
LAYER · DWS
汇总数据层
主题汇总宽表多粒度轻聚合跨域指标
LAYER · DWD
明细数据层
事实表维度表清洗 / 转码 / 拉链 财务 · 采购 · 营销 · 供应链主题
LAYER · ODS
操作数据层
原样镜像实时流批量快照 结构化 + 非结构化
III. 典型场景 · SCENARIOS

四类场景,
从离线到实时

制造行业 · MANUFACTURING

生产报工与质检管理

  • 支持生产批次、工序明细填报
  • 自动统计合格数与完成率
  • 移动端提交、拍照上传报告
  • 数据可查询、导出、批量修改
流程:报工 → 审核 → 质检 → 入库
零售行业 · RETAIL

门店补货与库存管理

  • 门店在线提交补货申请与商品明细
  • 自动关联库存、缺货智能提示
  • 权限隔离,门店仅查看自身数据
  • 移动端实时查看进度
流程:申请 → 审批 → 仓库发货
金融服务行业 · FINANCE

客户立项与合同审批

  • 快速录入客户信息与项目金额
  • 支持附件上传、金额自动计算
  • 节点支持通过、驳回、转办、撤回
  • 全程留痕,数据可追溯
流程:按金额分流审批
政务事业单位 · GOVERNMENT

事项申报与流程审批

  • 支持外链申报、免登录填报
  • 身份证 / 电话 / 金额格式校验
  • 移动端进度查询与消息提醒
  • 数据安全、权限严格隔离
流程:提交 → 初审 → 复核 → 办结
IV. 技术栈 · TECH STACK

开源核心,
自主可控

流计算
Apache Flink
实时计算引擎
批计算
Apache Spark
离线大数据计算
变更捕获
Flink CDC
数据库 binlog 监听
数据湖
Iceberg · Paimon
湖仓一体存储
调度
DolphinScheduler
分布式工作流调度
仓储
Doris · ClickHouse
OLAP 分析型数据库
元数据
DataHub · OpenLineage
血缘 · 资产目录
信创
达梦 · 人大金仓
国产数据库全栈适配

从源端到指标, 我们包圆

不光给工具,还给方法论 — 4 周内完成首批数据上线,12 周完成核心主题域全量入仓。

消灭数据孤岛,从这里开始

同一套 ETL 工厂,既能跑央企 480+ 张表的复杂场景,也能跑中型企业 50 张表的轻量场景。

收费标准 · PRICING

坦诚透明,按需选择。

标准版Standard
¥3万元 / 套
适用对象 · 中小型企业、基础数据打通、离线批量数据同步、简单数据规整场景
核心权益
  • 主流关系型数据库全量、增量数据同步能力
  • 基础可视化数据清洗组件,满足常规数据规整
  • 离线批处理作业运行,基础周期任务调度配置
  • 基础 SQL 脚本编辑执行、简易任务日志查看
  • 常规文件、Excel 数据源接入适配
  • 基础任务权限管理,满足部门级数据运维使用
  • 标准使用文档,日常线上技术答疑
推荐
专业版Professional
¥6万元 / 套
适用对象 · 中大型企业、全域数据治理、实时数据同步、批量数据加工、数据中台底层搭建
核心权益
  • 全品类数据源全覆盖,兼容国产数据库、中间件、API 全渠道接入
  • 全套 CDC 实时数据捕获,支持业务数据秒级变更同步
  • 全部数据清洗转换组件,自定义复杂数据运算逻辑
  • 批流一体化作业调度,精细化任务依赖、失败重试、告警机制
  • 大规模 SQL 脚本集群调度、版本管控、批量运维管理
  • 完善任务监控大屏、运行审计日志、异常自动预警
  • 数据质量校验规则配置,源头把控数据标准
  • 高并发作业支持,不限数据同步体量与任务数量
  • 专属技术实施部署、数据同步方案设计、一对一运维服务
配套服务 · SERVICES
  • 免费远程部署调试,协助完成数据源连通与基础任务搭建
  • 提供流程操作教程与配置案例,快速掌握数据集成流程
  • 服务周期内免费系统功能升级,持续优化同步与加工能力
  • 专业版提供数据治理思路指导,协助梳理企业数据流转架构

— 几何ETL 数据集成与治理平台 单平台官方定价,多平台组合与集团授权请联系销售顾问 —

联系我们 · CONTACT

开启数字化第一步。

客服热线 · HOTLINE
400-XXX-XXXX
邮箱联系 · EMAIL
xxxxx@biaogebiaojie.com