讲师中心 微信公众号
首页
文章
后端开发 web前端 数据库 开发工具 php框架 常见问题 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 自媒体 新闻
专题
后端开发 web前端 数据库 开发工具 php框架 科技 Java 系统教程 电脑教程 硬件教程 手机教程 软件教程 游戏教程 新闻
AI工具
AI 聊天问答 Agent智能体 AI 文本写作 AI 绘画作图 AI 设计工具 AI 视频创作 AI 音频制作 AI 办公学习 AI 编程开发 Prompt指令
学习
大前端 后端开发 数据库 移动端 运维开发 计算机基础
编程手册
大前端 后端开发 数据库 移动端 运维开发 计算机基础
下载
js特效 网站源码 工具下载 类库下载 网站素材 学习资源 插件扩展 手机游戏
最近更新
当前位置：首页 > 数据库 > mysql教程 >

正文

0

0

Hadoop自动化安装及单节点方式运行

php中文网

php中文网

发布时间：2016-06-07 16:34:35

|

1270人浏览过

|

来源于php中文网

原创

本文尝试使用shell脚本来自动化安装配置hadoop。使用的操作系统为centos，hadoop版本为?1.x，jdk版本?1.7，其他版本未测试，可能有未知bug。 Hadoop安装脚本 Hadoop安装分为3步，首先安装jdk，然后安装Hadoop，接着配置ssh免密码登陆(非必须)。[1] #!/bin/ba

本文尝试使用shell脚本来自动化安装配置hadoop。使用的操作系统为centos，hadoop版本为?1.x，jdk版本?1.7，其他版本未测试，可能有未知bug。

Hadoop安装脚本

Hadoop安装分为3步，首先安装jdk，然后安装Hadoop，接着配置ssh免密码登陆(非必须)。[1]

#!/bin/bash
# Usage: Hadoop自动配置脚本
# History: 
#	20140425  annhe  基本功能
#Hadoop版本
HADOOP_VERSION=1.2.1
#Jdk版本，Oracle官方无直链下载，请自备rpm包并设定版本号
JDK_VESION=7u51
#Hadoop下载镜像，默认为北理(bit)
MIRRORS=mirror.bit.edu.cn
#操作系统版本
OS=`uname -a |awk '{print $13}'`
# Check if user is root
if [ $(id -u) != "0" ]; then
    printf "Error: You must be root to run this script!\n"
    exit 1
fi
# 检查是否是Centos
cat /etc/issue|grep CentOS && r=0 || r=1
if [ $r -eq 1 ]; then
	echo "This script can only run on CentOS!"
	exit 1
fi
#软件包
HADOOP_FILE=hadoop-$HADOOP_VERSION-1.$OS.rpm
if [ "$OS"x = "x86_64"x ]; then
	JDK_FILE=jdk-$JDK_VESION-linux-x64.rpm
else
	JDK_FILE=jdk-$JDK_VESION-linux-i586.rpm
fi
function Install ()
{
	#卸载已安装版本
	rpm -qa |grep hadoop
	rpm -e hadoop
	rpm -qa | grep jdk
	rpm -e jdk
	#恢复/etc/profile备份文件
	mv /etc/profile.bak /etc/profile
	#准备软件包
	if [ ! -f $HADOOP_FILE ]; then
		wget "http://$MIRRORS/apache/hadoop/common/stable1/$HADOOP_FILE" && r=0 || r=1
		[ $r -eq 1 ] && { echo "download error, please check your mirrors or check your network....exit"; exit 1; }
	fi
	[ ! -f $JDK_FILE ] && { echo "$JDK_FILE not found! Please download yourself....exit"; exit 1; }
	#开始安装
	rpm -ivh $JDK_FILE && r=0 || r=1
	if [ $r -eq 1 ]; then
		echo "$JDK_FILE install failed, please verify your rpm file....exit"
		exit 1
	fi
	rpm -ivh $HADOOP_FILE && r=0 || r=1
	if [ $r -eq 1 ]; then
		echo "$HADOOP_FILE install failed, please verify your rpm file....exit"
		exit 1
	fi
	#备份/etc/profile
	cp /etc/profile /etc/profile.bak
	#配置java环境变量
	cat >> /etc/profile <> ~/.ssh/authorized_keys
	chmod 644 ~/.ssh/authorized_keys
}
Install 2>&1 | tee -a hadoop_install.log
SSHlogin 2>&1 | tee -a hadoop_install.log
#修改HADOOP_CLIENT_OPTS后需要重启 
shutdown -r now

单节点运行自带示例

默认情况下，Hadoop被配置成以非分布式模式运行的一个独立Java进程。这对调试非常有帮助。新建测试文本

[root@linux hadoop]# echo "hello world" >input/hello.txt
[root@linux hadoop]# echo "hello hadoop" >input/hadoop.txt

运行Wordcount

[root@linux hadoop]# hadoop jar /usr/share/hadoop/hadoop-examples-1.2.1.jar wordcount input output
14/04/26 02:56:23 INFO util.NativeCodeLoader: Loaded the native-hadoop library
14/04/26 02:56:23 INFO input.FileInputFormat: Total input paths to process : 2
14/04/26 02:56:24 WARN snappy.LoadSnappy: Snappy native library not loaded
14/04/26 02:56:24 INFO mapred.JobClient: Running job: job_local275273933_0001
14/04/26 02:56:24 INFO mapred.LocalJobRunner: Waiting for map tasks
14/04/26 02:56:24 INFO mapred.LocalJobRunner: Starting task: attempt_local275273933_0001_m_000000_0
14/04/26 02:56:25 INFO util.ProcessTree: setsid exited with exit code 0
14/04/26 02:56:25 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@7e86fe3a
14/04/26 02:56:25 INFO mapred.MapTask: Processing split: file:/root/hadoop/input/hadoop.txt:0+13
14/04/26 02:56:25 INFO mapred.MapTask: io.sort.mb = 100
14/04/26 02:56:25 INFO mapred.MapTask: data buffer = 79691776/99614720
14/04/26 02:56:25 INFO mapred.MapTask: record buffer = 262144/327680
14/04/26 02:56:25 INFO mapred.MapTask: Starting flush of map output
14/04/26 02:56:25 INFO mapred.MapTask: Finished spill 0
14/04/26 02:56:25 INFO mapred.Task: Task:attempt_local275273933_0001_m_000000_0 is done. And is in the process of commiting
14/04/26 02:56:25 INFO mapred.LocalJobRunner:
14/04/26 02:56:25 INFO mapred.Task: Task 'attempt_local275273933_0001_m_000000_0' done.
14/04/26 02:56:25 INFO mapred.LocalJobRunner: Finishing task: attempt_local275273933_0001_m_000000_0
14/04/26 02:56:25 INFO mapred.LocalJobRunner: Starting task: attempt_local275273933_0001_m_000001_0
14/04/26 02:56:25 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@16ed889d
14/04/26 02:56:25 INFO mapred.MapTask: Processing split: file:/root/hadoop/input/hello.txt:0+12
14/04/26 02:56:25 INFO mapred.MapTask: io.sort.mb = 100
14/04/26 02:56:25 INFO mapred.MapTask: data buffer = 79691776/99614720
14/04/26 02:56:25 INFO mapred.MapTask: record buffer = 262144/327680
14/04/26 02:56:25 INFO mapred.MapTask: Starting flush of map output
14/04/26 02:56:25 INFO mapred.MapTask: Finished spill 0
14/04/26 02:56:25 INFO mapred.Task: Task:attempt_local275273933_0001_m_000001_0 is done. And is in the process of commiting
14/04/26 02:56:25 INFO mapred.LocalJobRunner:
14/04/26 02:56:25 INFO mapred.Task: Task 'attempt_local275273933_0001_m_000001_0' done.
14/04/26 02:56:25 INFO mapred.LocalJobRunner: Finishing task: attempt_local275273933_0001_m_000001_0
14/04/26 02:56:25 INFO mapred.LocalJobRunner: Map task executor complete.
14/04/26 02:56:25 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@42701c57
14/04/26 02:56:25 INFO mapred.LocalJobRunner:
14/04/26 02:56:25 INFO mapred.Merger: Merging 2 sorted segments
14/04/26 02:56:25 INFO mapred.Merger: Down to the last merge-pass, with 2 segments left of total size: 53 bytes
14/04/26 02:56:25 INFO mapred.LocalJobRunner:
14/04/26 02:56:25 INFO mapred.Task: Task:attempt_local275273933_0001_r_000000_0 is done. And is in the process of commiting
14/04/26 02:56:25 INFO mapred.LocalJobRunner:
14/04/26 02:56:25 INFO mapred.Task: Task attempt_local275273933_0001_r_000000_0 is allowed to commit now
14/04/26 02:56:25 INFO output.FileOutputCommitter: Saved output of task 'attempt_local275273933_0001_r_000000_0' to output
14/04/26 02:56:25 INFO mapred.LocalJobRunner: reduce > reduce
14/04/26 02:56:25 INFO mapred.Task: Task 'attempt_local275273933_0001_r_000000_0' done.
14/04/26 02:56:25 INFO mapred.JobClient:  map 100% reduce 100%
14/04/26 02:56:25 INFO mapred.JobClient: Job complete: job_local275273933_0001
14/04/26 02:56:25 INFO mapred.JobClient: Counters: 20
14/04/26 02:56:25 INFO mapred.JobClient:   File Output Format Counters
14/04/26 02:56:25 INFO mapred.JobClient:     Bytes Written=37
14/04/26 02:56:25 INFO mapred.JobClient:   FileSystemCounters
14/04/26 02:56:25 INFO mapred.JobClient:     FILE_BYTES_READ=429526
14/04/26 02:56:25 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=586463
14/04/26 02:56:25 INFO mapred.JobClient:   File Input Format Counters
14/04/26 02:56:25 INFO mapred.JobClient:     Bytes Read=25
14/04/26 02:56:25 INFO mapred.JobClient:   Map-Reduce Framework
14/04/26 02:56:25 INFO mapred.JobClient:     Reduce input groups=3
14/04/26 02:56:25 INFO mapred.JobClient:     Map output materialized bytes=61
14/04/26 02:56:25 INFO mapred.JobClient:     Combine output records=4
14/04/26 02:56:25 INFO mapred.JobClient:     Map input records=2
14/04/26 02:56:25 INFO mapred.JobClient:     Reduce shuffle bytes=0
14/04/26 02:56:25 INFO mapred.JobClient:     Physical memory (bytes) snapshot=0
14/04/26 02:56:25 INFO mapred.JobClient:     Reduce output records=3
14/04/26 02:56:25 INFO mapred.JobClient:     Spilled Records=8
14/04/26 02:56:25 INFO mapred.JobClient:     Map output bytes=41
14/04/26 02:56:25 INFO mapred.JobClient:     CPU time spent (ms)=0
14/04/26 02:56:25 INFO mapred.JobClient:     Total committed heap usage (bytes)=480915456
14/04/26 02:56:25 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=0
14/04/26 02:56:25 INFO mapred.JobClient:     Combine input records=4
14/04/26 02:56:25 INFO mapred.JobClient:     Map output records=4
14/04/26 02:56:25 INFO mapred.JobClient:     SPLIT_RAW_BYTES=197
14/04/26 02:56:25 INFO mapred.JobClient:     Reduce input records=

结果

云网OA
云网OA

采用JSP开发的办公自动化产品、基于B/S结构，运行环境：JDK v1.5、Tomcat v5.5、MySQL v4.1，三者均为以上版本其他相关内容：可视化流程设计： 流程支持串签、会签和分支流程，可以设置流程节点的修改、删除权限，并可指定流程中各个用户在表单中可以填写的域。智能表单所见即所得设计： 智能设计，自动在数据库中生成表格，方便优化程序 公共交流： 集论坛、博客、聊天室于一体文件柜：C

下载 
[root@linux hadoop]# cat output/*
hadoop  1
hello   2
world   1

?运行自己编写的Wordcount

package net.annhe.wordcount;
import java.io.IOException;
import java.util.*;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.io.*;
import org.apache.hadoop.mapreduce.*;
import org.apache.hadoop.mapreduce.lib.input.*;
import org.apache.hadoop.mapreduce.lib.output.*;
import org.apache.hadoop.util.*;
public class WordCount extends Configured implements Tool {
	public static class Map extends Mapper {
		private final static IntWritable one = new IntWritable(1);
		private Text word = new Text();
		public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
			String line = value.toString();
			StringTokenizer tokenizer = new StringTokenizer(line);
			while (tokenizer.hasMoreTokens()) {
				word.set(tokenizer.nextToken());
				context.write(word,one);
			}
		}
	}
	public static class Reduce extends Reducer {
		public void reduce (Text key, Iterable values, Context context) throws IOException, InterruptedException {
			int sum=0;
			for(IntWritable val : values) {
				sum += val.get();
			}
			context.write(key, new IntWritable(sum));
		}
	}
	public int run(String[] args) throws Exception {
		Job job = new Job(getConf());
		job.setJarByClass(WordCount.class);
		job.setJobName("wordcount");
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(IntWritable.class);
		job.setMapperClass(Map.class);
		job.setReducerClass(Reduce.class);
		job.setInputFormatClass(TextInputFormat.class);
		job.setOutputFormatClass(TextOutputFormat.class);
		FileInputFormat.setInputPaths(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		boolean success = job.waitForCompletion(true);
		return success ? 0 : 1;
	}
	public static void main(String[] args) throws Exception {
		int ret = ToolRunner.run(new WordCount(),args);
		System.exit(ret);
	}
}

编译

javac -classpath /usr/share/hadoop/hadoop-core-1.2.1.jar -d . WordCount.java

打包

jar -vcf wordcount.jar -C demo/ .

运行

hadoop jar wordcount.jar net.annhe.wordcount.WordCount input/ out

结果

[root@linux hadoop]# cat out/*
hadoop  1
hello   2
world   1

?遇到的问题

1. 内存不足

分给虚拟机的内存才180M，运行实例程序时报错：

java.lang.Exception: java.lang.OutOfMemoryError: Java heap space

解决方案：
增加虚拟机内存，并编辑/etc/hadoop/hadoop-env.sh，修改：

export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS" #改成512m
原来启动JVM时配置的最大内存是128m，当运行hadoop的一些自带的实例会报内存溢出，其实这里是可以修改内存大小 如果不需要也不必修改。[2]

?2. 带有包名的类的引用

带有包名的类要按照包层次调用类。如上面的 net.annhe.wordcount.WordCount [3]

3. 带有包名的类的编译

需要打包编译，加-d选项。

java的类文件是应该放入包中的，如package abc;
public class ls {...} 那么这个abc就是就是类ls的包，那么编译的时候就应该创建相应的abc包，具体就是用javac的一个参数，就是这个-d来生成这个类文件的包，例如上面的类在编译时应该写javac -d . ls.java注意javac和-d,-d和后面的．,.和后面的ls.java中间都有空格[4]

参考资料

[1]. 陆嘉桓. Hadoop实战. 第二版. 机械工业出版社

[2]. OSchina博客:http://my.oschina.net/mynote/blog/93340

[3]. CSDN博客：http://blog.csdn.net/xw13106209/article/details/6861855

[4]. 百度知道:http://zhidao.baidu.com/link?url=ND1BWmyGb_5a05Jntd9vGZNWGtmJmcKF1V6dhVNM1eFNuHL6kbQyVrEWtCUmy7KYP5F66R2BumCifCnPQnYdD_

本文遵从CC版权协定，转载请以链接形式注明出处。
本文链接地址: http://www.annhe.net/article-2672.html

相关文章

hadoop跟mysql的区别是什么？

mysql中子查询如何书写_mysql 子查询教程

mysql如何实现数据初始化脚本_mysql项目部署说明

如何开启事务_mysql事务使用方法

mysql中触发器在数据库设计中的应用实践

本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

上一篇：eclipse中开发Hadoop2.x的Map/Reduce项目 下一篇： 基于SSL的mysql主从复制

热门AI工具

更多
DeepSeek

DeepSeek

幻方量化公司旗下的开源大模型平台

AI大模型

开放平台
豆包大模型

豆包大模型

字节跳动自主研发的一系列大型语言模型

AI大模型
通义千问

通义千问

阿里巴巴推出的全能AI助手

AI大模型
腾讯元宝

腾讯元宝

腾讯混元平台推出的AI助手

文档处理

Excel 表格
文心一言

文心一言

文心一言是百度开发的AI聊天机器人，通过对话可以生成各种形式的内容。

AI大模型

中文写作
讯飞写作

讯飞写作

基于讯飞星火大模型的AI写作工具，可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

中文写作

写作工具
即梦AI

即梦AI

一站式AI创作平台，免费AI图片和视频生成。

图片拼接

图画生成
ChatGPT

ChatGPT

最最强大的AI聊天机器人程序，ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

AI大模型

中文写作
智谱清言 - 免费全能的AI助手

智谱清言 - 免费全能的AI助手

智谱清言 - 免费全能的AI助手

AI大模型

PC软件

相关专题

更多
c++ 根号
c++ 根号

本专题整合了c++根号相关教程，阅读专题下面的文章了解更多详细内容。

57

2026.01.23

c++空格相关教程合集
c++空格相关教程合集

本专题整合了c++空格相关教程，阅读专题下面的文章了解更多详细内容。

57

2026.01.23

yy漫画官方登录入口地址合集
yy漫画官方登录入口地址合集

本专题整合了yy漫画入口相关合集，阅读专题下面的文章了解更多详细内容。

237

2026.01.23

漫蛙最新入口地址汇总2026
漫蛙最新入口地址汇总2026

本专题整合了漫蛙最新入口地址大全，阅读专题下面的文章了解更多详细内容。

393

2026.01.23

C++ 高级模板编程与元编程
C++ 高级模板编程与元编程

本专题深入讲解 C++ 中的高级模板编程与元编程技术，涵盖模板特化、SFINAE、模板递归、类型萃取、编译时常量与计算、C++17 的折叠表达式与变长模板参数等。通过多个实际示例，帮助开发者掌握 如何利用 C++ 模板机制编写高效、可扩展的通用代码，并提升代码的灵活性与性能。

17

2026.01.23

php远程文件教程合集
php远程文件教程合集

本专题整合了php远程文件相关教程，阅读专题下面的文章了解更多详细内容。

103

2026.01.22

PHP后端开发相关内容汇总
PHP后端开发相关内容汇总

本专题整合了PHP后端开发相关内容，阅读专题下面的文章了解更多详细内容。

73

2026.01.22

php会话教程合集
php会话教程合集

本专题整合了php会话教程相关合集，阅读专题下面的文章了解更多详细内容。

81

2026.01.22

宝塔PHP8.4相关教程汇总
宝塔PHP8.4相关教程汇总

本专题整合了宝塔PHP8.4相关教程，阅读专题下面的文章了解更多详细内容。

70

2026.01.22

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

相关下载

更多
云网OA
SuperCms在线订餐系统
培训招生教育类网站模板(响应式)1.4.2
工程机械设备制造类模板(带手机端）1.4.2
ShopNC网上商店单用户版
化妆美容美白产品类网站模板(带手机端)1.4.2
白月生产企业订单管理系统GBK2.0 Build 080807

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
尚学堂Mahout视频教程
尚学堂Mahout视频教程

共18课时 | 3.2万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.3万人学习

支付宝沙箱支付（个人也能用的支付）
支付宝沙箱支付（个人也能用的支付）

共12课时 | 0.6万人学习

最新文章

更多
mysql在Windows环境下安装与配置步骤详解
mysql中子查询如何书写_mysql 子查询教程
mysql执行SQL时redo log在什么时候写入_日志执行顺序说明
如何优化in查询_mysql条件查询性能
如何配置mysql连接超时参数_mysql连接超时配置方法
mysql如何实现数据初始化脚本_mysql项目部署说明
如何从sql文件恢复数据_mysql导入恢复方式
mysql存储过程算不算OOP_mysql过程化与面向对象对比
mysql查询性能的优化：避免全表扫描与索引失效
mysql函数和触发器权限如何设置_mysql高级授权说明
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网：公益在线php培训，帮助PHP学习者快速成长！
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号

  • PHP学习

  • 技术支持

  • 返回顶部