我们要建设实时数仓的主要原因是：
- 公司业务对于数据的实时性越来越迫切，需要有实时数据来辅助完成决策
- 实时数据建设没有规范，数据可用性较差，无法形成数仓体系，资源大量浪费
- 数据平台工具对整体实时开发的支持也日渐趋于成熟，开发成本降低
实时数仓的应用场景
- 实时OLAP分析：OLAP分析本身就是数仓领域重点解决的问题，提升数仓的时效性能力，使其具有较优的实时数据分析能力。
- 实时数据看板：这类场景是目前公司实时侧主要需求场景，例如实时大屏曲线展示，当日分钟级订单侧核心指标数据展示，增长类项目资源投入和收益实时效果展示等。
- 实时业务监控：各个业务线的指标监控。
- 实时数据接口服务：由于各业务线之间存在很多业务壁垒，导致数仓开发很难熟悉公司内全部业务线，需要与各业务线相关部门在数据加工和数据获取方面进行协作，数仓通过提供实时数据接口服务的方式，向业务方提供数据支持。
一、滴滴公司的实时数仓架构方案
实时数仓研发规范
离线和实时数据一致性保证解决方法
二、美团实时数仓架构方案
三、网易严选实时数仓架构
技术实现
四、腾讯实时数仓架构
lambda、kappa架构痛点
实时数仓-数据湖架构
五、爱奇艺实时数仓架构
实时数据加工
大表join方案流程图
实时数仓架构组件总结
参考文章
https://cloud.tencent.com/developer/news/707234
https://dbaplus.cn/news-73-3474-1.html
https://mp.weixin.qq.com/s/6UFrWoGf2e6kVC5UAK1JIQ
https://developer.aliyun.com/article/781534
文章评论