架构智慧
flink
实时计算

flink sql窗口函数总结

根据窗口数据划分的不同,目前 Flink 支持如下 4 种: 滚动窗口,窗口数据有固定的大小,窗口中的数据不会叠加; 滑动窗口,窗口数据有固定的大小,并且有生成间隔; 会话窗口,窗口数据没有固定的大小,根据用户传入的参数进行划分,窗口数据无叠加。 over窗口,它对每一行数据都生成窗口,在窗口上进行聚合,聚合的结果会生成一个新字段。 Flink 中的时间分为三种: 事件时间(Event Time),即事件实际发生的时间; 摄入时间(Ingestion Time),事件进入流处理框架的时间; 处理时间(Process…

2021年07月01日 0条评论 1518点热度 1人点赞 阅读全文
实时数仓

互联网公司实时数仓架构总结

我们要建设实时数仓的主要原因是: 公司业务对于数据的实时性越来越迫切,需要有实时数据来辅助完成决策 实时数据建设没有规范,数据可用性较差,无法形成数仓体系,资源大量浪费 数据平台工具对整体实时开发的支持也日渐趋于成熟,开发成本降低 实时数仓的应用场景 实时OLAP分析:OLAP分析本身就是数仓领域重点解决的问题,提升数仓的时效性能力,使其具有较优的实时数据分析能力。 实时数据看板:这类场景是目前公司实时侧主要需求场景,例如实时大屏曲线展示,当日分钟级订单侧核心指标数据展示,增长类项目资源投入和收益实时效果展示等。 …

2021年07月01日 0条评论 1033点热度 0人点赞 阅读全文
实时计算

给你的数据平台选择合适的流引擎

现在大多数数据仓库和数据湖都是面向批处理的,其中数据是在文件系统或数据库中采集的,并分批处理。 但是,当前的技术进步是完全依赖批处理模式的竞争劣势。 因此,大数据系统正在不断发展,以更加面向流的方式在数据到达时进行处理,从而获得与同行相比的竞争优势。 如今,市场上有许多开源流框架可用,并且几乎所有这些框架都是在最近几年中开发的。 随着一切的快速发展,在选择适合您需求的框架时,很容易感到困惑和迷茫。 这些系统需要连续处理无限的数据流,因此随着数据量的增长,它们需要具有弹性,高可用性和可伸缩性。 让我们简要介绍一下各种…

2020年09月04日 0条评论 717点热度 0人点赞 阅读全文
分类目录
  • 大数据浪潮 (2)
  • 实时数仓 (1)
  • 实时计算 (6)
  • 离线计算 (4)
2023年3月
一 二 三 四 五 六 日
 12345
6789101112
13141516171819
20212223242526
2728293031  
« 7月    
文章归档
  • 2021年7月 (2)
  • 2020年9月 (4)
  • 2020年8月 (4)
  • 2020年7月 (2)
  • 2020年6月 (1)
标签聚合
窗口函数 hive elasticsearch kafka spark dataframe 实时计算 flink
友情链接
  • 大数据导航
  • 网站地图
  • 隐私政策

COPYRIGHT © 2020 架构智慧. ALL RIGHTS RESERVED.

THEME KRATOS MADE BY VTROIS

京ICP备19056408号