最近在做用户刷赞排除逻辑的时候，需要结合nginx的access.log日志和Mysql中的部分记录联合查询才能做到，之前的nginx日志一直存放在hadoop中，mysql的数据则没有导入到hadoop中去过，要搞定这事还得将Mysql中的一些表导入到HDFS中去才成。虽说Sqoop的大名早
最近在做用户刷赞排除逻辑的时候，需要结合nginx的access.log日志和mysql中的部分记录联合查询才能做到，之前的nginx日志一直存放在hadoop中，mysql的数据则没有导入到hadoop中去过，要搞定这事还得将mysql中的一些表导入到hdfs中去才成。虽说sqoop的大名早已经闻名遐迩了，但是到底没有在生产环境中试用过，这回倒是一个很好的实践机会。
线上跑的Hadoop版本为社区版本的hadoop2.2.0，一看Sqoop2最新版本是sqoop-1.99.5-bin-hadoop200.tar.gz，但是它是依赖的hadoop2.6.0这个版本，下载下来后就心里打鼓，担心版本匹配不上，试了一把后果不其然，不行，遂下载Sqoop2的1.99.5源代码下来把依赖修改为Hadoop2.2.0，编译倒是能过，但是最终运行的时候还是在报sqlite相关的错误，一时没有解决不掉，就考虑用老的版本来试一试了，sqoop-1.99.3-bin-hadoop100.tar.gz这个版本我是试用过的，但是该版本功能过于简单了，而1.99.4这个版本的功能刚刚好满足我的要求了，就下载sqoop-1.99.4-bin-hadoop200.tar.gz 这个来试一试。
（1）安装环境
操作系统：Linux（centos6.5）
JDK版本：1.7.0_45
Hadoop版本：hadoop2.2.0
Sqoop2版本：sqoop-1.99.4-bin-hadoop200
hadoop安装目录：/home/hadoop/hadoop-2.2.0
Sqoop2安装目录：/home/hadoop/sqoop-1.99.4-bin-hadoop200
Hadoop和Sqoop都是同一个用户hadoop下面，hadoop用户的的家目录：/home/hadoop
（2）修改Sqoop2的配置文件
1、首先修改配置文件/home/hadoop/sqoop-1.99.4-bin-hadoop200/server/conf/sqoop.properties指定hadoop的配置文件所属路径。
将原来的如下配置：
# Hadoop configuration directory org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/etc/hadoop/conf/修改为：
在原版的基础上做了一下修正：增加1st在线支付功能与论坛用户数据结合，vip也可与论坛相关，增加互动性vip会员的全面修正评论没有提交正文的问题特价商品的调用连接问题删掉了2个木马文件去掉了一个后门补了SQL注入补了一个过滤漏洞浮动价不能删除的问题不能够搜索问题收藏时放入购物车时出错点放入购物车弹出2个窗口修正定单不能删除问题VIP出错问题主题添加问题商家注册页导航连接问题添加了导航FLASH源文
# Hadoop configuration directory org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop/hadoop-2.2.0/etc/hadoop/
2、修改配置文件/home/hadoop/sqoop-1.99.4-bin-hadoop200/server/conf/catalina.properties。
这里即时把/home/hadoop/hadoop-2.2.0/share/hadoop下全部的*.jar包加入到sqoop2的类路径中去。
将原来的如下配置：
common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/usr/lib/hadoop/*.jar,/usr/lib/hadoop/lib/*.jar,/usr/lib/hadoop-hdfs/*.jar,/usr/lib/hadoop-hdfs/lib/*.jar,/usr/lib/hadoop-mapreduce/*.jar,/usr/lib/hadoop-mapreduce/lib/*.jar,/usr/lib/hadoop-yarn/*.jar,/usr/lib/hadoop-yarn/lib/*.jar
修改为：
common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/home/hadoop/hadoop-2.2.0/share/hadoop/common/*.jar,/home/hadoop/hadoop-2.2.0/share/hadoop/common/lib/*.jar,/home/hadoop/hadoop-2.2.0/share/hadoop/hdfs/*.jar,/home/hadoop/hadoop-2.2.0/share/hadoop/hdfs/lib/*.jar,/home/hadoop/hadoop-2.2.0/share/hadoop/mapreduce/*.jar,/home/hadoop/hadoop-2.2.0/share/hadoop/mapreduce/lib/*.jar,/home/hadoop/hadoop-2.2.0/share/hadoop/tools/*.jar,/home/hadoop/hadoop-2.2.0/share/hadoop/tools/lib/*.jar,/home/hadoop/hadoop-2.2.0/share/hadoop/yarn/*.jar,/home/hadoop/hadoop-2.2.0/share/hadoop/yarn/lib/*.jar,/home/hadoop/hadoop-2.2.0/share/hadoop/httpfs/tomcat/lib/*.jar
（3）修改环境变量
由于sqoop2和Hadoop的用户都为hadoop，并且hadoop用户的home目录为：/home/hadoop，所以直接修改/home/hadoop/.bash_profile在文件末尾追加如下内容即可：
export SQOOP_HOME=/home/hadoop/sqoop-1.99.4-bin-hadoop200 export PATH=$SQOOP_HOME/bin:$PATH export CATALINA_HOME=$SQOOP_HOME/server export LOGDIR=$SQOOP_HOME/logs
当然完成上述修改后需要在hadoop用户下执行命令来让配置即可生效：
source /home/hadoop/.bash_profile
（4）小试sqoop2
至此可以来试一试sqoop2可用不可用，进入目录/home/hadoop/sqoop-1.99.4-bin-hadoop200/bin下执行下述命令体验下。
启动sqoop2的服务：./sqoop2-server start
进入Client的shell环境：./sqoop2-shell
Client连接到服务端：set server --host 127.0.0.1 --port 12000 --webapp sqoop
其它建立link、job可以参考：
http://sqoop.apache.org/docs/1.99.5/CommandLineClient.html：
SQOOP2不知道何故，我死活找不到从mysql导出数据到HDFS的时候，怎么去指定字段的分隔符号，求助百度、谷歌、官网都没有用！悲剧了，所以我不得不另谋出路，虽说此时此刻可以去看看Sqoop2的源代码，看看是否有地方设置分隔符号，但是最快速的办法莫过于试用另外的版本，比如1.4.5，肯定是可以的，否则SQOOP也不能这么有名了。
且看我试用Sqoop1.4.5的经历，期间也不是一帆风顺的！
