0

0

Hadoop2.2.0 Ubuntu12.04单节点安装

php中文网

php中文网

发布时间:2016-06-07 15:38:02

|

1117人浏览过

|

来源于php中文网

原创

摘自:http://blog.csdn.net/twlkyao/article/details/16801753 一:环境准备: 基于Windows Server下VMWare的ubuntu12.04-64server. 下载免费的VMware Workstation并安装好; 下载 免费的Ubuntu 12.04 server版并在VMware中安装好; 二:基础安装: 执行如下

摘自:http://blog.csdn.net/twlkyao/article/details/16801753

一:环境准备:基于windows server下vmware的ubuntu12.04-64server.

  1. 下载免费的VMware Workstation并安装好;
  2. 下载 免费的Ubuntu 12.04 server版并在VMware中安装好;

二:基础安装:

  1. 执行如下命令升级部分软件和把ssh安装好:

  (1) sudo apt-get update;

  (2) sudo apt-get upgrade;

  (3) sudo apt-get install openssh-server;

  1. 有两种方法可以安装Oracle JDK(本文采用第一种)。

方法一:通过webupd8team自动安装,执行命令如下:

(1)   sudo apt-get install python-software-properties

(2)   sudo add-apt-repository ppa:webupd8team/java

(3)   sudo apt-get update

(4)   sudo apt-get install oracle-java6-installer

方法二:手动安装JDK1.6

(1)   下载jdk1.6http://www.oracle.com/technetwork/java/javase/downloads/jdk6u37-downloads-1859587.html,

(2)   执行chmod +x jdk-6u37-linux-x64.bin增加可执行权限;

(3)   ./ jdk-6u37-linux-x64.bin直接解压即可,建议放在/opt目录下。

(4)   然后将解压后的bin目录加入到PATH环境变量中即可。

  1. 创建hadoop用户。

(1)   sudo addgroup hadoop

(2)   sudo adduser --ingroup hadoop hduser

  1. 建立SSH信任关系,登录localhost就不需要密码

$ cd /home/hduser

$ ssh-keygen -t rsa -P ""    #直接回车

$cat .ssh/id_rsa.pub >>.ssh/authorized_keys

        注:可通过ssh localhost命令验证。

三:正式安装:

注:以下操作以hduser登录进行操作。

  1. 下载hadoop2.2版本。地址:http://apache.dataguru.cn/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz。
  2.  执行tar zxf hadoop-2.2.0.tar.gz解压至当前目录/home/hduser目录下。
  3. mv hadoop-2.2.0 hadoop

四:配置hadoop:

  1. 编辑/home/hduser/hadoop/etc/hadoop/hadoop-env.sh

替换exportJAVA_HOME=${JAVA_HOME}为如下:

exportJAVA_HOME=/usr/lib/jvm/java-6-oracle

  1. 编辑/home/hduser/hadoop/etc/hadoop/core-site.xml,在中添加如下:

  hadoop.tmp.dir

 /home/hduser/hadoop/tmp/hadoop-${user.name}

 A base for other temporarydirectories.

善美购物商城Sunway Shop
善美购物商城Sunway Shop

系统特点:技术领先:系统基于被广泛使用的Windows平台开发,集百家之所长,技术领先、功能完备; 快速建店:只需简单设置,3分钟即可以建立一个功能完备的网上商城; 操作简便:软件操作界面由专业设计人员设计,采用人性化的布局,界面规范,操作简捷; 安装方便:只需传到您的虚拟空间即可; HTML编辑器:内置优秀的HTML在线编辑器; 可扩展性:软件构架灵活,考虑未来功能扩充之需要,具有较强的可扩展性

下载

 fs.default.name

 hdfs://localhost:8010

 The name of the default file system.  A URI whose

 scheme and authority determine the FileSystem implementation.  The

 uri's scheme determines the config property (fs.SCHEME.impl) naming

 the FileSystem implementation class. The uri's authority is used to

 determine the host, port, etc. for a filesystem.

备注:配置了/home/hduser/hadoop/tmp/这个目录,必须执行mkdir /home/hduser/hadoop/tmp/创建它,否则后面运行会报错。

  1. 编辑/home/hduser/hadoop/etc/hadoop/mapred-site.xml:

(1)   mv /home/hduser/hadoop/etc/hadoop/mapred-site.xml.template/home/hduser/hadoop/etc/hadoop/mapred-site.xml

(2)   在中添加如下:

 mapred.job.tracker

 localhost:54311

 The host and port that the MapReduce job tracker runs

 at.  If "local", thenjobs are run in-process as a single map

 and reduce task.

 

 mapred.map.tasks

 10

 As a rule of thumb, use 10x the number of slaves(i.e., number of tasktrackers).

 

 mapred.reduce.tasks

 2

 As a rule of thumb, use 2x the number of slaveprocessors (i.e., number of tasktrackers).

 

  1. 编辑/home/hduser/hadoop/etc/hadoop/hdfs-site.xml,在中添加如下:

 dfs.replication

 1

 Default block replication.

 The actual number of replications can be specified when the file iscreated.

 The default is used if replication is not specified in create time.

 

五:运行Hadoop

在初次运行Hadoop的时候需要初始化Hadoop文件系统,命令如下:

$cd /home/hduser/hadoop/bin

$./hdfs namenode -format

如果执行成功,你会在日志中(倒数几行)找到如下成功的提示信息:

common.Storage: Storage directory/home/hduser/hadoop/tmp/hadoop-hduser/dfs/name has been successfully formatted.

运行命令如下:

$cd /home/hduser/hadoop/sbin/

$./start-dfs.sh

注:该过程需要多次输入密码, 如果不想多次输入密码,可先用ssh建立信任。

hduser@ubuntu:~/hadoop/sbin$ jps

4266 SecondaryNameNode

4116 DataNode

4002 NameNode

注:用jps查看启动了三个进程。

$./start-yarn.sh

hduser@ubuntu:~/hadoop/sbin$ jps

4688 NodeManager

4266 SecondaryNameNode

4116 DataNode

4002 NameNode

4413 ResourceManager

 

六:查看Hadoop资源管理器

http://localhost:8088/,将其中的192.168.128.129替换为你的实际IP地址。

 

七:测试Hadoop

cd /home/hduser

$wget http://www.gutenberg.org/cache/epub/20417/pg20417.txt

$cd hadoop

$ bin/hdfs dfs -mkdir /tmp

$ bin/hdfs dfs -copyFromLocal /home/hduser/pg20417.txt /tmp

bin/hdfs dfs -ls /tmp

$bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /tmp/pg20417.txt /tmp-output

如果一切正常的话,会输入相应的结果,可以从屏幕输出看到。

 

八:停止Hadoop

若停止hadoop,依次运行如下命令:

$./stop-yarn.sh

$./stop-dfs.sh

 

九:参考资料

  1. https://sites.google.com/site/jianpengxu/tutorials/hadoop-setup
  2. http://wenku.baidu.com/view/1681511a52d380eb62946df6.html

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Golang处理数据库错误教程合集
Golang处理数据库错误教程合集

本专题整合了Golang数据库错误处理方法、技巧、管理策略相关内容,阅读专题下面的文章了解更多详细内容。

2

2026.02.06

java多线程方法汇总
java多线程方法汇总

本专题整合了java多线程面试题、实现函数、执行并发相关内容,阅读专题下面的文章了解更多详细内容。

0

2026.02.06

1688阿里巴巴货源平台入口与批发采购指南
1688阿里巴巴货源平台入口与批发采购指南

本专题整理了1688阿里巴巴批发进货平台的最新入口地址与在线采购指南,帮助用户快速找到官方网站入口,了解如何进行批发采购、货源选择以及厂家直销等功能,提升采购效率与平台使用体验。

90

2026.02.06

快手网页版入口与电脑端使用指南 快手官方短视频观看入口
快手网页版入口与电脑端使用指南 快手官方短视频观看入口

本专题汇总了快手网页版的最新入口地址和电脑版使用方法,详细提供快手官网直接访问链接、网页端操作教程,以及如何无需下载安装直接观看短视频的方式,帮助用户轻松浏览和观看快手短视频内容。

15

2026.02.06

C# 多线程与异步编程
C# 多线程与异步编程

本专题深入讲解 C# 中多线程与异步编程的核心概念与实战技巧,包括线程池管理、Task 类的使用、async/await 异步编程模式、并发控制与线程同步、死锁与竞态条件的解决方案。通过实际项目,帮助开发者掌握 如何在 C# 中构建高并发、低延迟的异步系统,提升应用性能和响应速度。

10

2026.02.06

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

6

2026.02.06

JavaScript 异步编程与事件驱动架构
JavaScript 异步编程与事件驱动架构

本专题深入讲解 JavaScript 异步编程与事件驱动架构,涵盖 Promise、async/await、事件循环机制、回调函数、任务队列与微任务队列、以及如何设计高效的异步应用架构。通过多个实际示例,帮助开发者掌握 如何处理复杂异步操作,并利用事件驱动设计模式构建高效、响应式应用。

7

2026.02.06

java连接字符串方法汇总
java连接字符串方法汇总

本专题整合了java连接字符串教程合集,阅读专题下面的文章了解更多详细操作。

25

2026.02.05

java中fail含义
java中fail含义

本专题整合了java中fail的含义、作用相关内容,阅读专题下面的文章了解更多详细内容。

28

2026.02.05

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
c语言项目php解释器源码分析探索
c语言项目php解释器源码分析探索

共7课时 | 0.4万人学习

Vue.js 微实战--十天技能课堂
Vue.js 微实战--十天技能课堂

共18课时 | 1.2万人学习

Swoft2.x速学之http api篇课程
Swoft2.x速学之http api篇课程

共16课时 | 1.0万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号