sparkStreaming越跑越慢

收藏
sparkStreaming
9
Feb 1, 2018

sparkStreaming越跑越慢

回答

般若回答

问题分析,

需要做一定的优化措施

问题解决方法

需要调节的地方:

添加序列化操作
spark.default.parallelism 参数上调
在sparkSubmit脚本中田间JVM优化参数。在--conf "spark.executor.extraJavaOptions中添加
同时根据情况上下浮动sparkStreaming的partition数量
另外程序出现了卡顿的现象,这说明是程序处理不过来了。把执行批次的时间放大




 

(0)

提交成功