1.先在hive-site.xml中设置小文件的标准.
hive.merge.smallfiles.avgsize 536870912 When the average output file size of a job is less than this number, Hive will start an additional map-reduce job to merge the output files into bigger files. This is only done for map-only jobs if hive.merge.mapfiles is true, and for map-reduce jobs if hive.merge.mapredfiles is true.
2.为只有map的mapreduce的输出并合并小文件.
hive.merge.mapfiles true Merge small files at the end of a map-only job
3.为含有reduce的mapreduce的输出并合并小文件.
多奥淘宝客程序API免费版 F8.0
下载
多奥淘宝客程序免费版拥有淘宝客站点的基本功能，手动更新少，管理简单等优点，适合刚接触网站的淘客们，或者是兼职做淘客们。同样拥有VIP版的模板引擎技 术、强大的文件缓存机制，但没有VIP版的伪原创跟自定义URL等多项创新的搜索引擎优化技术，除此之外也是一款高效的API数据系统实现无人值守全自动 化运行的淘宝客网站程序。4月3日淘宝联盟重新开放淘宝API申请，新用户也可使用了
hive.merge.mapredfiles true Merge small files at the end of a map-reduce job
更多相关教程请访问 MySQL视频教程
