最近hadoop本地磁盘总是坏，伴随着有些hadoop job失败，阅读了一些相关的代码。 本地磁盘健康检查 NodeManager默认会每两分钟检查本地磁盘（local-dirs），找出那些目录可以使用。注意这里如果判定这个磁盘不可用，则在重启NodeManager之前，就算磁盘好了，
最近hadoop本地磁盘总是坏，伴随着有些hadoop job失败，阅读了一些相关的代码。
本地磁盘健康检查
NodeManager默认会每两分钟检查本地磁盘（local-dirs），找出那些目录可以使用。注意这里如果判定这个磁盘不可用，则在重启NodeManager之前，就算磁盘好了，也不会把它变成可用。代码在LocalDirsHandlerService，DirectoryCollection。
当好磁盘数少于一定量时，会把这台机器变成unhealthy，将不会再给这台机器分配任务。
参数 ：
yarn.nodemanager.disk-health-checker.enable ? ? 是否开启磁盘健康检查，默认是开启 yarn.nodemanager.disk-health-checker.interval-ms 检查间隔时间，默认是2分钟 yarn.nodemanager.disk-health-checker.min-healthy-disks ?最少健康磁盘的个数，默认值是0.25，如果少于这个值，则把这个节点变成unhealthy
本地磁盘使用
NodeManager会从hdfs下载job.jar等东西，这叫资源本地化。代码在ResourceLocalizationService和DefaultContainerExecutor里。
token文件会使用第一个好的local-dirs，其他的文件会顺序的使用local-dirs，文件可能分散在各个盘上。
?AppMaster重试
AppMaster重试是由RM触发，代码在RMAppImpl的AttemptFailedTransition事件里。默认重试次数是1次（也就是不重试）
参数：
yarn.resourcemanager.am.max-retries AM最大重试次数
TaskAttempt重试
我们的map和reduce任务都是一个个TaskAttempt，TaskAttempt由AppMaster来管理，启动和重启的操作都是由AppMaster来处理。代码在TaskImpl的AttemptFailedTransition里
参数：
mapreduce.map.maxattempts map最大重试次数，默认是4 mapreduce.reduce.maxattempts reduce最大重试次数，默认是4
AppMaster资源分配
AppMaster会定时申请、释放container资源，代码在RMContainerRequestor.containerFailedOnHost
当taskAttempt在一个节点的失败数目超过一定上限（通过参数?mapreduce.job.maxtaskfailures.per.tracker 配置，默认是3），该节点会被加入临时的黑名单，为了防止大量的机器加入黑名单，还有个参数?yarn.app.mapreduce.am.job.node-blacklisting.ignore-threshold-node-percent 设置最多被加入黑名单的比例，默认值是33，当超过33%的机器被加入黑名单，则黑名单将会失效。
加入黑名单后，会让RM回收这台机器的container，申请其他机器的container
参数：
mapreduce.job.maxtaskfailures.per.tracker 失败多少次后，加入黑名单，默认是3 yarn.app.mapreduce.am.job.node-blacklisting.ignore-threshold-node-percent 加入黑名单的比例超过这个值时，关闭黑名单，默认是33 yarn.app.mapreduce.am.job.node-blacklisting.enable 是否使用黑名单，默认true
最终处理
在AM失败重启前，先sleep两分钟，等待磁盘健康检查完成。TaskAttempt有黑名单的方式，由于本地磁盘损坏造成的失败可能会比较少触发。
原文地址：hadoop本地目录相关代码分析, 感谢原作者分享。
