根据窗口数据划分的不同，目前 Flink 支持如下 4 种： 滚动窗口，窗口数据有固定的大小，窗口中的数据不会叠加； 滑动窗口，窗口数据有固定的大小，并且有生成间隔； 会话窗口，窗口数据没有固定的大小，根据用户传入的参数进行划分，窗口数据无叠加。 over窗口，它对每一行数据都生成窗口，在窗口上进行聚合，聚合的结果会生成一个新字段。 Flink 中的时间分为三种： 事件时间（Event Time），即事件实际发生的时间； 摄入时间（Ingestion Time），事件进入流处理框架的时间； 处理时间（Process…
我们要建设实时数仓的主要原因是： 公司业务对于数据的实时性越来越迫切，需要有实时数据来辅助完成决策 实时数据建设没有规范，数据可用性较差，无法形成数仓体系，资源大量浪费 数据平台工具对整体实时开发的支持也日渐趋于成熟，开发成本降低 实时数仓的应用场景 实时OLAP分析：OLAP分析本身就是数仓领域重点解决的问题，提升数仓的时效性能力，使其具有较优的实时数据分析能力。 实时数据看板：这类场景是目前公司实时侧主要需求场景，例如实时大屏曲线展示，当日分钟级订单侧核心指标数据展示，增长类项目资源投入和收益实时效果展示等。 …
现在大多数数据仓库和数据湖都是面向批处理的，其中数据是在文件系统或数据库中采集的，并分批处理。 但是，当前的技术进步是完全依赖批处理模式的竞争劣势。 因此，大数据系统正在不断发展，以更加面向流的方式在数据到达时进行处理，从而获得与同行相比的竞争优势。 如今，市场上有许多开源流框架可用，并且几乎所有这些框架都是在最近几年中开发的。 随着一切的快速发展，在选择适合您需求的框架时，很容易感到困惑和迷茫。 这些系统需要连续处理无限的数据流，因此随着数据量的增长，它们需要具有弹性，高可用性和可伸缩性。 让我们简要介绍一下各种…