水莹儿 发表于 2018-11-1 07:35:00

[hadoop]追查问题总结

　　当一个任务跑挂的时候，需要在集群上面去追查到底是哪里的数据出现问题了。这时候可以通过job_history，根据job_id来查找任务，找到fail的部分，然后找到一条代表性的数据。通过对模块的了解，到相应的那轮hadoop计算中，根据map的输出数据格式，用keybasedpartition 来定位这个key在reduce输出在了part。so，搞定。

页: [1]
查看完整版本: [hadoop]追查问题总结