hive如何设置reduce的数量

收藏
hive
13
Feb 1, 2018

通过hive命令行执行sql语句的时候  如何设置reducer的数目 

reduce的个数设置其实对执行效率有很大的影响:

1、如果reduce太少:  如果数据量很大,会导致这个reduce异常的慢,从而导致这个任务不能结束,也有可能会OOM

2、如果reduce太多:  产生的小文件太多,合并起来代价太高,namenode的内存占用也会增大。

回答

铁木真回答

在通过hive 执行sql的时候可以指定reduce的数目

set mapred.reduce.tasks=50

(0)

提交成功