我们要建设实时数仓的主要原因是:
- 公司业务对于数据的实时性越来越迫切,需要有实时数据来辅助完成决策
- 实时数据建设没有规范,数据可用性较差,无法形成数仓体系,资源大量浪费
- 数据平台工具对整体实时开发的支持也日渐趋于成熟,开发成本降低
实时数仓的应用场景
- 实时OLAP分析:OLAP分析本身就是数仓领域重点解决的问题,提升数仓的时效性能力,使其具有较优的实时数据分析能力。
- 实时数据看板:这类场景是目前公司实时侧主要需求场景,例如实时大屏曲线展示,当日分钟级订单侧核心指标数据展示,增长类项目资源投入和收益实时效果展示等。
- 实时业务监控:各个业务线的指标监控。
- 实时数据接口服务:由于各业务线之间存在很多业务壁垒,导致数仓开发很难熟悉公司内全部业务线,需要与各业务线相关部门在数据加工和数据获取方面进行协作,数仓通过提供实时数据接口服务的方式,向业务方提供数据支持。
一、滴滴公司的实时数仓架构方案

实时数仓研发规范

离线和实时数据一致性保证解决方法

二、美团实时数仓架构方案

三、网易严选实时数仓架构

技术实现

四、腾讯实时数仓架构
lambda、kappa架构痛点

实时数仓-数据湖架构

五、爱奇艺实时数仓架构

实时数据加工

大表join方案流程图

实时数仓架构组件总结

参考文章
https://cloud.tencent.com/developer/news/707234
https://dbaplus.cn/news-73-3474-1.html
https://mp.weixin.qq.com/s/6UFrWoGf2e6kVC5UAK1JIQ
https://developer.aliyun.com/article/781534
文章评论