架构智慧
架构智慧
大数据主流架构经验交流分享
离线计算

spark遇到的空指针问题

最近在使用spark开发的过程中,遇到了一个空指针错误,spark处理数据的过程主要是 spark读取数据库数据做清洗转换,然后需要把数据和数据库中另一个表做匹配查询,查询到结果后存到hdfs. 因为数据量比较大,所以读出数据后,使用了foreachpartition在每个分区做处理优化,打算在分区中匹配数据后转换为dataframe,直接保存到hive,结果调试的过程中遇到了空指针错误,主要代码如下 结果运行调试的时候报告错误 google搜索了一下问题,找到答案 空指针异常的原因是因为dataframe,rdd…

2020年07月16日 0条评论 658点热度 0人点赞 阅读全文
大数据浪潮

大数据从何而来

自1990年代初以来,一直使用“大数据”一词。尽管尚不清楚最初使用该术语的人是谁,但大多数人都赞扬John R. Mashey(当时在Silicon Graphics工作)。 从本质上讲,大数据不是全新的东西,也不只是过去二十年的东西。几个世纪以来,人们一直在尝试使用数据分析和分析技术来支持他们的决策过程。公元前300年左右的古埃及人已经尝试捕获亚历山大图书馆中所有现有的“数据”。此外,罗马帝国过去曾仔细分析其军队的统计数据,以确定其军队的最佳分配。 但是,在过去的二十年中,生成数据的数量和速度发生了变化-超出了人…

2020年07月06日 0条评论 920点热度 0人点赞 阅读全文
分类目录
  • 大数据浪潮 (2)
  • 实时数仓 (1)
  • 实时计算 (6)
  • 离线计算 (4)
2020年7月
一 二 三 四 五 六 日
 12345
6789101112
13141516171819
20212223242526
2728293031  
« 6月   8月 »
文章归档
  • 2021年7月 (2)
  • 2020年9月 (4)
  • 2020年8月 (4)
  • 2020年7月 (2)
  • 2020年6月 (1)
标签聚合
窗口函数 spark 实时计算 elasticsearch flink dataframe hive kafka
友情链接
  • 大数据导航
  • 网站地图
  • 隐私政策

COPYRIGHT © 2020 架构智慧. ALL RIGHTS RESERVED.

THEME KRATOS MADE BY VTROIS

京ICP备19056408号