最近在使用spark开发的过程中，遇到了一个空指针错误，spark处理数据的过程主要是 spark读取数据库数据做清洗转换，然后需要把数据和数据库中另一个表做匹配查询，查询到结果后存到hdfs. 因为数据量比较大，所以读出数据后，使用了foreachpartition在每个分区做处理优化，打算在分区中匹配数据后转换为dataframe，直接保存到hive,结果调试的过程中遇到了空指针错误，主要代码如下 结果运行调试的时候报告错误 google搜索了一下问题，找到答案 空指针异常的原因是因为dataframe，rdd…

自1990年代初以来，一直使用“大数据”一词。尽管尚不清楚最初使用该术语的人是谁，但大多数人都赞扬John R. Mashey（当时在Silicon Graphics工作）。 从本质上讲，大数据不是全新的东西，也不只是过去二十年的东西。几个世纪以来，人们一直在尝试使用数据分析和分析技术来支持他们的决策过程。公元前300年左右的古埃及人已经尝试捕获亚历山大图书馆中所有现有的“数据”。此外，罗马帝国过去曾仔细分析其军队的统计数据，以确定其军队的最佳分配。 但是，在过去的二十年中，生成数据的数量和速度发生了变化-超出了人…