在spark处理数据的项目开发过程中，经常会遇到清洗、转换数据的需求，转换数据就要在原来dataframe中增加新的字段，下面总结了3个常用增加字段的方法 首先创建一个dataframe数据实例 生成数据 方法1 使用withColumn()增加列 withColumn（）用于在DataFrame上添加新列或更新现有列，在这里仅说明如何使用现有列添加新列。 withColumn（）函数带有两个参数，第一个参数是新列的名称，第二个参数是Column类型中的列的值。 我们增加了一个新的字段 newsalary，字段值为…
最近在使用spark开发的过程中，遇到了一个空指针错误，spark处理数据的过程主要是 spark读取数据库数据做清洗转换，然后需要把数据和数据库中另一个表做匹配查询，查询到结果后存到hdfs. 因为数据量比较大，所以读出数据后，使用了foreachpartition在每个分区做处理优化，打算在分区中匹配数据后转换为dataframe，直接保存到hive,结果调试的过程中遇到了空指针错误，主要代码如下 结果运行调试的时候报告错误 google搜索了一下问题，找到答案 空指针异常的原因是因为dataframe，rdd…