现在大多数数据仓库和数据湖都是面向批处理的，其中数据是在文件系统或数据库中采集的，并分批处理。 但是，当前的技术进步是完全依赖批处理模式的竞争劣势。 因此，大数据系统正在不断发展，以更加面向流的方式在数据到达时进行处理，从而获得与同行相比的竞争优势。 如今，市场上有许多开源流框架可用，并且几乎所有这些框架都是在最近几年中开发的。 随着一切的快速发展，在选择适合您需求的框架时，很容易感到困惑和迷茫。 这些系统需要连续处理无限的数据流，因此随着数据量的增长，它们需要具有弹性，高可用性和可伸缩性。 让我们简要介绍一下各种…

在大部分的项目中，使用spark streaming读取kafka的架构中，kafka的数据都是json格式发送的，比较复杂一些的是json中嵌套数组json格式，下面总结了两种解析方法 json数据格式 第一种方法 使用json4s的默认转化器解析 实现代码如下 第二种 使用spark.read.json解析数据 核心代码 依赖库配置 build.sbt