Debian Hadoop集群扩容是一个相对复杂的过程，涉及多个步骤。以下是详细的扩容步骤：
环境配置
-
关闭防火墙：
systemctl stop firewalld systemctl disable firewalld
-
关闭SELinux：
sed -i 's/enforcing/disabled/' /etc/selinux/config setenforce 0
-
配置主机名和IP映射关系：
hostnamectl set-hostname hadoop102 hostnamectl set-hostname hadoop103 hostnamectl set-hostname hadoop104 cat >> /etc/hosts << EOF 192.168.52.15 hadoop102 192.168.52.16 hadoop103 192.168.52.17 hadoop104 EOF
-
配置SSH无密码登录：
- 使用 ssh-keygen 生成公钥与私钥对。
- 将本地密钥拷贝到其他服务器。
- 验证是否配置免密登录。
-
配置时间同步服务：
yum install chrony -y systemctl restart chronyd chronyc sources -v
-
安装JDK：
- 从Oracle官方网站下载JDK。
- 上传JDK安装包。
- 解压安装包。
- 配置环境变量。
Hadoop集群安装
-
下载Hadoop安装包：
wget http://archive.apache.org/dist/hadoop/common/1.2/hadoop-3.1.2.tar.gz
-
解压Hadoop安装包：
tar -xzf hadoop-3.1.2.tar.gz -C /opt
-
修改Hadoop环境变量：
- 新建 hadoop.sh 文件。
- 添加Hadoop环境变量。
- 刷新profile变量使配置生效。
扩容步骤
-
格式化新盘：
mkfs -t ext4 /dev/sdb
-
挂载新盘：
- 使用 vi 或者 emcas 查看Hadoop集群的 {hadoop-home}/conf/hdfs-site.xml 文件，其中的 dfs.data.dir 属性所设定的目录。
- 将格式化之后的设备挂载到相应的目录下。
-
修改 /etc/fstab 文件：
/dev/device1 /dm1/hdfs/Data ext3 defaults 1 2 5
-
验证扩容：
- 在 {hadoop-home}/bin/hadoop 使用 dfs -report 命令查看新增的DFS容量。
请注意，以上步骤是基于搜索结果的概述，具体操作可能需要根据实际情况进行调整。在进行任何操作之前，请确保备份所有重要数据，并在测试环境中验证步骤的正确性。
