sparkStreaming越跑越慢
回答
般若回答
问题分析,
需要做一定的优化措施
问题解决方法
需要调节的地方:
添加序列化操作
spark.default.parallelism 参数上调
在sparkSubmit脚本中田间JVM优化参数。在--conf "spark.executor.extraJavaOptions中添加
同时根据情况上下浮动sparkStreaming的partition数量
另外程序出现了卡顿的现象,这说明是程序处理不过来了。把执行批次的时间放大
(0)