0

0

Alex的Hadoop菜鸟教程:第7课Sqoop2导出教程

php中文网

php中文网

发布时间:2016-06-07 16:10:56

|

1597人浏览过

|

来源于php中文网

原创

承接上节课,现在说说导出教程 检查连接 先看看有没有可用的connection 连接,如果没有就要根据上节课的方法创建一个 sqoop:000 show connector --all1 connector(s) to show: Connector with id 1: Name: generic-jdbc-connector Class: org.apache.sqoop.c

承接上节课,现在说说导出教程

检查连接

先看看有没有可用的connection 连接,如果没有就要根据上节课的方法创建一个

sqoop:000>  show connector --all
1 connector(s) to show: 
Connector with id 1:
  Name: generic-jdbc-connector 
 Class: org.apache.sqoop.connector.jdbc.GenericJdbcConnector
  Version: 1.99.3-cdh5.0.1
  Supported job types: [EXPORT, IMPORT]
    Connection form 1:


后面还有很长的输出我就不贴了,如果有就继续往下做

准备数据

mysql数据表准备

先在mysql 里面建立一个表 employee
CREATE TABLE `employee` (    
  `id` int(11) NOT NULL,    
  `name` varchar(20) NOT NULL,    
  PRIMARY KEY (`id`)    
) ENGINE=MyISAM  DEFAULT CHARSET=utf8; 

hadoop文件准备

在hadoop里面建立数据文件 先建立一个文件 part-m-00000 内容是
1,'michael'

把他们放到hadoop里面
# hdfs dfs -mkdir /user/alex
# hdfs dfs -put part-m-00000 /user/alex/
# hdfs dfs -ls /user/alex
Found 1 items
-rw-r--r--   2 root supergroup         20 2014-11-27 18:26 /user/alex/part-m-00000

导出

create job --xid 1 --type export

接下来按照提示输入

sqoop:000> create job --xid 1 --type export
Creating job for connection with id 1
Please fill following values to create new job object
Name: export to employee

Database configuration

Schema name: 
Table name: employee
Table SQL statement: 
Table column names: 
Stage table name: 
Clear stage table: 

Input configuration

Input directory: /user/alex

Throttling resources

Extractors: 
Loaders: 
New job was successfully created with validation status FINE  and persistent id 3

执行这个任务

sqoop:000> start job --jid 3
Submission details
Job ID: 3
Server URL: http://localhost:12000/sqoop/
Created by: root
Creation date: 2014-11-27 18:29:27 CST
Lastly updated by: root
External ID: job_1406097234796_0008
	http://xmseapp01:8088/proxy/application_1406097234796_0008/
2014-11-27 18:29:27 CST: BOOTING  - Progress is not available

然后等一会儿,再去看mysql的employee表就有一条michael 的记录了

下节课说下sqoop跟Hbase之间的通讯

星火作家大神
星火作家大神

星火作家大神是一款面向作家的AI写作工具

下载



后面还有很长的输出我就不贴了,如果有就继续往下做

相关专题

更多
html编辑相关教程合集
html编辑相关教程合集

本专题整合了html编辑相关教程合集,阅读专题下面的文章了解更多详细内容。

38

2026.01.21

三角洲入口地址合集
三角洲入口地址合集

本专题整合了三角洲入口地址合集,阅读专题下面的文章了解更多详细内容。

18

2026.01.21

AO3中文版入口地址大全
AO3中文版入口地址大全

本专题整合了AO3中文版入口地址大全,阅读专题下面的的文章了解更多详细内容。

234

2026.01.21

妖精漫画入口地址合集
妖精漫画入口地址合集

本专题整合了妖精漫画入口地址合集,阅读专题下面的文章了解更多详细内容。

61

2026.01.21

java版本选择建议
java版本选择建议

本专题整合了java版本相关合集,阅读专题下面的文章了解更多详细内容。

3

2026.01.21

Java编译相关教程合集
Java编译相关教程合集

本专题整合了Java编译相关教程,阅读专题下面的文章了解更多详细内容。

14

2026.01.21

C++多线程相关合集
C++多线程相关合集

本专题整合了C++多线程相关教程,阅读专题下面的的文章了解更多详细内容。

6

2026.01.21

无人机驾驶证报考 uom民用无人机综合管理平台官网
无人机驾驶证报考 uom民用无人机综合管理平台官网

无人机驾驶证(CAAC执照)报考需年满16周岁,初中以上学历,身体健康(矫正视力1.0以上,无严重疾病),且无犯罪记录。个人需通过民航局授权的训练机构报名,经理论(法规、原理)、模拟飞行、实操(GPS/姿态模式)及地面站训练后考试合格,通常15-25天拿证。

27

2026.01.21

Python多线程合集
Python多线程合集

本专题整合了Python多线程相关教程,阅读专题下面的文章了解更多详细内容。

1

2026.01.21

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
尚学堂Mahout视频教程
尚学堂Mahout视频教程

共18课时 | 3.2万人学习

ThinkPHP6开发CMS系统
ThinkPHP6开发CMS系统

共34课时 | 10.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号