通过hive命令行执行sql语句的时候 如何设置reducer的数目
reduce的个数设置其实对执行效率有很大的影响:
1、如果reduce太少: 如果数据量很大,会导致这个reduce异常的慢,从而导致这个任务不能结束,也有可能会OOM
2、如果reduce太多: 产生的小文件太多,合并起来代价太高,namenode的内存占用也会增大。
回答
铁木真回答
在通过hive 执行sql的时候可以指定reduce的数目
set mapred.reduce.tasks=50
(0)
在线客服
扫描二维码
下载博学谷APP
扫描二维码
关注博学谷微信公众号
意见反馈
通过hive命令行执行sql语句的时候 如何设置reducer的数目
reduce的个数设置其实对执行效率有很大的影响:
1、如果reduce太少: 如果数据量很大,会导致这个reduce异常的慢,从而导致这个任务不能结束,也有可能会OOM
2、如果reduce太多: 产生的小文件太多,合并起来代价太高,namenode的内存占用也会增大。
回答
铁木真回答
在通过hive 执行sql的时候可以指定reduce的数目
set mapred.reduce.tasks=50
(0)