如何在CentOS上配置HDFS高可用性

在CentOS系统中实现HDFS（Hadoop分布式文件系统）的高可用性设置，需保证主NameNode发生故障时，备用NameNode能无缝切换。以下是具体操作流程：

1. 前期准备

• Hadoop安装完成：确认已在CentOS上安装好Hadoop，并且各节点已正确配置完毕。
• SSH免密登录配置：为便于管理，需在所有节点间配置SSH免密码登录功能。

2. core-site.xml 文件调整

打开$HADOOP_HOME/etc/hadoop/core-site.xml文件，加入如下内容：

    
        fs.defaultFS
        hdfs://mycluster
    
    
        ha.zookeeper.quorum
        zk1:2181,zk2:2181,zk3:2181
    
    
        ha.zookeeper.property.dataDir
        /var/lib/zookeeper
    

3. hdfs-site.xml 文件配置

编辑$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，插入以下参数：

    
        dfs.nameservices
        mycluster
    
    
        dfs.ha.namenodes.mycluster
        nn1,nn2
    
    
        dfs.namenode.rpc-address.mycluster.nn1
        namenode1:8020
    
    
        dfs.namenode.rpc-address.mycluster.nn2
        namenode2:8020
    
    
        dfs.namenode.http-address.mycluster.nn1
        namenode1:50070
    
    
        dfs.namenode.http-address.mycluster.nn2
        namenode2:50070
    
    
        dfs.client.failover.proxy.provider.mycluster
        org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
    
    
        dfs.ha.fencing.methods
        sshfence
    
    
        dfs.ha.fencing.ssh.private-key-files
        /home/hadoop/.ssh/id_rsa
    
    
        dfs.namenode.shared.edits.dir
        qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster
    
    
        dfs.journalnode.edits.dir
        /var/hadoop/hdfs/journal
    

4. yarn-site.xml 文件设置

修改$HADOOP_HOME/etc/hadoop/yarn-site.xml文件，添加以下内容：

    
        yarn.resourcemanager.ha.enabled
        true
    
    
        yarn.resourcemanager.cluster-id
        yarn-cluster
    
    
        yarn.resourcemanager.ha.rm-ids
        rm1,rm2
    
    
        yarn.resourcemanager.hostname.rm1
        resourcemanager1
    
    
        yarn.resourcemanager.hostname.rm2
        resourcemanager2
    
    
        yarn.resourcemanager.zk-address
        zk1:2181,zk2:2181,zk3:2181
    
    
        yarn.resourcemanager.scheduler.address
        resourcemanager1:8030
    
    
        yarn.resourcemanager.scheduler.address.rm1
        resourcemanager1:8030
    
    
        yarn.resourcemanager.scheduler.address.rm2
        resourcemanager2:8030
    
    
        yarn.resourcemanager.webapp.address.rm1
        resourcemanager1:8088
    
    
        yarn.resourcemanager.webapp.address.rm2
        resourcemanager2:8088
    

5. Zookeeper服务启动

保证Zookeeper集群处于运行状态。可使用以下命令启动Zookeeper服务：

$HADOOP_HOME/sbin/start-zookeeper.sh

6. NameNode格式化

在主NameNode节点上执行命令格式化NameNode：

$HADOOP_HOME/bin/hdfs namenode -format

7. JournalNode启动

在所有JournalNode节点上启动JournalNode服务：

$HADOOP_HOME/sbin/start-journalnode.sh

8. 元数据同步

在主NameNode节点上执行命令同步元数据至JournalNode：

易森网络企业版

如果您是新用户，请直接将本程序的所有文件上传在任一文件夹下，Rewrite 目录下放置了伪静态规则和筛选器，可将规则添加进IIS，即可正常使用，不用进行任何设置；(可修改图片等)默认的管理员用户名、密码和验证码都是：yeesen系统默认关闭，请上传后登陆后台点击“核心管理”里操作如下:进入“配置管理”中的&ld

下载

$HADOOP_HOME/bin/hdfs namenode -bootstrapStandby

9. NameNode启动

在主NameNode节点上启动NameNode服务：

$HADOOP_HOME/sbin/start-dfs.sh

在备用NameNode节点上初始化共享编辑日志并启动NameNode服务：

$HADOOP_HOME/sbin/hdfs namenode -initializeSharedEdits
$HADOOP_HOME/sbin/start-dfs.sh

10. ResourceManager启动

在ResourceManager节点上启动ResourceManager服务：

$HADOOP_HOME/sbin/start-yarn.sh

在备用ResourceManager节点上启动ResourceManager服务：

$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager

11. 系统验证

通过访问ResourceManager Web界面（如http://resourcemanager1:8088）和NameNode Web界面（如http://namenode1:50070）检查配置有效性。

按照上述步骤，您应该能够在CentOS上成功配置HDFS的高可用性。