架构智慧
架构智慧
大数据主流架构经验交流分享
  1. 首页
  2. 实时数仓
  3. 正文

互联网公司实时数仓架构总结

2021年07月01日 1034点热度 0人点赞 0条评论

我们要建设实时数仓的主要原因是:

  • 公司业务对于数据的实时性越来越迫切,需要有实时数据来辅助完成决策
  • 实时数据建设没有规范,数据可用性较差,无法形成数仓体系,资源大量浪费
  • 数据平台工具对整体实时开发的支持也日渐趋于成熟,开发成本降低

实时数仓的应用场景

  • 实时OLAP分析:OLAP分析本身就是数仓领域重点解决的问题,提升数仓的时效性能力,使其具有较优的实时数据分析能力。
  • 实时数据看板:这类场景是目前公司实时侧主要需求场景,例如实时大屏曲线展示,当日分钟级订单侧核心指标数据展示,增长类项目资源投入和收益实时效果展示等。
  • 实时业务监控:各个业务线的指标监控。
  • 实时数据接口服务:由于各业务线之间存在很多业务壁垒,导致数仓开发很难熟悉公司内全部业务线,需要与各业务线相关部门在数据加工和数据获取方面进行协作,数仓通过提供实时数据接口服务的方式,向业务方提供数据支持。

一、滴滴公司的实时数仓架构方案

实时数仓研发规范

离线和实时数据一致性保证解决方法

二、美团实时数仓架构方案

三、网易严选实时数仓架构

技术实现

四、腾讯实时数仓架构

lambda、kappa架构痛点

实时数仓-数据湖架构

五、爱奇艺实时数仓架构

实时数据加工

大表join方案流程图

实时数仓架构组件总结

参考文章

https://cloud.tencent.com/developer/news/707234

https://dbaplus.cn/news-73-3474-1.html

https://mp.weixin.qq.com/s/6UFrWoGf2e6kVC5UAK1JIQ

https://developer.aliyun.com/article/781534

https://www.sohu.com/a/466145154_411876

https://www.cnblogs.com/tgzhu/p/14503578.html

本作品采用 知识共享署名 4.0 国际许可协议 进行许可
标签: flink hudi iceberg 实时数仓
最后更新:2021年07月01日

hivefans

保持饥渴的专注,追求最佳的品质

点赞

文章评论

取消回复
分类目录
  • 大数据浪潮 (2)
  • 实时数仓 (1)
  • 实时计算 (6)
  • 离线计算 (4)
2021年7月
一 二 三 四 五 六 日
 1234
567891011
12131415161718
19202122232425
262728293031  
« 9月    
文章归档
  • 2021年7月 (2)
  • 2020年9月 (4)
  • 2020年8月 (4)
  • 2020年7月 (2)
  • 2020年6月 (1)
标签聚合
hive 实时计算 spark flink 窗口函数 elasticsearch kafka dataframe
友情链接
  • 大数据导航
  • 网站地图
  • 隐私政策

COPYRIGHT © 2020 架构智慧. ALL RIGHTS RESERVED.

THEME KRATOS MADE BY VTROIS

京ICP备19056408号