根据窗口数据划分的不同，目前 Flink 支持如下 4 种： 滚动窗口，窗口数据有固定的大小，窗口中的数据不会叠加； 滑动窗口，窗口数据有固定的大小，并且有生成间隔； 会话窗口，窗口数据没有固定的大小，根据用户传入的参数进行划分，窗口数据无叠加。 over窗口，它对每一行数据都生成窗口，在窗口上进行聚合，聚合的结果会生成一个新字段。 Flink 中的时间分为三种： 事件时间（Event Time），即事件实际发生的时间； 摄入时间（Ingestion Time），事件进入流处理框架的时间； 处理时间（Process…
我们要建设实时数仓的主要原因是： 公司业务对于数据的实时性越来越迫切，需要有实时数据来辅助完成决策 实时数据建设没有规范，数据可用性较差，无法形成数仓体系，资源大量浪费 数据平台工具对整体实时开发的支持也日渐趋于成熟，开发成本降低 实时数仓的应用场景 实时OLAP分析：OLAP分析本身就是数仓领域重点解决的问题，提升数仓的时效性能力，使其具有较优的实时数据分析能力。 实时数据看板：这类场景是目前公司实时侧主要需求场景，例如实时大屏曲线展示，当日分钟级订单侧核心指标数据展示，增长类项目资源投入和收益实时效果展示等。 …