0

0

php连接hive各种问题记录

php中文网

php中文网

发布时间:2016-06-06 19:52:37

|

3405人浏览过

|

来源于php中文网

原创

一、hive方面 hive有三种模式:cli、hwi、hiveserver; cli:即shell命令行 hwi:是通过浏览器访问 hiveserver:也就是JDBC/ODBC接口 其中hwi没有用到 深入浅出学hive:http://sishuok.com/forum/blogPost/list/6220.html(初学hive,这个系列介绍的很不错)

一、hive方面

hive有三种模式:cli、hwi、hiveserver;

cli:即shell命令行

hwi:是通过浏览器访问

hiveserver:也就是JDBC/ODBC接口

立即学习PHP免费学习笔记(深入)”;

其中hwi没有用到

深入浅出学hive:http://sishuok.com/forum/blogPost/list/6220.html(初学hive,这个系列介绍的很不错)

启动hiveserver:

1.org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000.

可能原因:默认端口10000已被占用

查看端口是否被占用: netstat -ntulp | grep ':10000'

发现被一个java进程占用

解决方法:另起端口开启hiveserver:hive --service hiveserver -p 10001

2.启动hiveserver卡住

网上一些博客解释说是已经在运行,不用担心http://www.cnblogs.com/sh91/archive/2012/08/03/2621911.html

启动hive(cli)

1.执行语句出错(例如show tables)

FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

可能原因:metadata相关,也就是和连接mysql有关了(采用mysql作为hive的元数据库)

采用debug模式启动hive cli:hive -hiveconf hive.root.logger=DEBUG,console

Caused by: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure

Caused by: java.net.ConnectException: 骁豢妤(这边有点乱码问题,是windows下的ssh软件造成的)

Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient

Caused by: java.lang.reflect.InvocationTargetException

Caused by: javax.jdo.JDOFatalDataStoreException: Communications link failure

The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
NestedThrowables:
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure


二、mysql方面

文希AI写作
文希AI写作

AI论文写作平台

下载

登陆mysql出错:mysql -uhive -p

ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (111)

查看mysql运行状态:/etc/rc.d/init.d/mysqld status

发现mysql已停

root权限下启动mysql:service mysqld start(失败);、etc/init.d/mysqld start(也失败)

提示:Another MySQL daemon already running with the same unix socket.

关闭所有mysqld进程:killall -9 mysqld

考虑卸载原装mysql:http://www.jb51.net/os/RedHat/1146.html  http://www.2cto.com/os/201108/100257.html  http://blog.csdn.net/monkey_d_meng/article/details/5573610

查找mysql相关包:rpm -qa|grep mysql
mysql-server-5.1.71-1.el6.i686   变成not installed(why???)
mysql-connector-java-5.1.17-6.el6.noarch   OK!
mysql-5.1.71-1.el6.i686      OK!
libdbi-dbd-mysql-0.8.3-5.1.el6.i686   OK!
mysql-libs-5.1.71-1.el6.i686     变成not installed(why???)
mod_auth_mysql-3.0.0-11.el6_0.1.i686     OK!
mysql-connector-odbc-5.1.5r1144-7.el6.i686  OK!
php-mysql-5.3.3-26.el6.i686     OK!
mysql-devel-5.1.71-1.el6.i686    OK!
qt-mysql-4.6.2-26.el6_4.i686    OK!
删除相关包的命令: rpm -e --nodeps (包名)
接下来删除mysql:  rm -fr /usr/lib/mysql     rm -fr /usr/include/mysql(/usr/include目录下没有mysql)
rm -f /etc/my.cnf      rm -rf /var/lib/mysql
验证: sudo yum -y remove mysql-5.1.71-1.el6.i686
提示:Loaded plugins: refresh-packagekit, security
      Setting up Remove Process
      No Match for argument: mysql-5.1.71-1.el6.i686
      Package(s) mysql-5.1.71-1.el6.i686 available, but not installed.
      No Packages marked for removal
证明已经删除成功!

再根据官方说明(http://dev.mysql.com/doc/refman/5.6/en/linux-installation-rpm.html)查找了相关目录,都已经没有mysql

接下来,手动安装自己的mysql
mysql官方推荐:

The recommended way to install MySQL on RPM-based Linux distributions that useglibc is by using the RPM packages provided by MySQL. There are two methods for doing so: for EL6-based platforms and Fedora 18 and 19, this can be done using the MySQL Yum repository (seediv 2.5.1, “Installing MySQL on Linux Using the MySQL Yum Repository” for details)

因此,通过rpm来安装,按照官网教程进行安装

安装成功,终于可以正常启动mysql了!

再重新为hive创建用户跟数据库就可以了(注意和配置文件hive-site.xml对应)

3.php连接相关

前提:开启hadoop(2.2.0版本改为start-dfs.sh和start-yarn.sh)

开启hiveserver(当然mysql也是要开起来)

php文件放在/wamp/www/下

在浏览器输入/localhost/hiveconnect.php就可以看到了

问题:

输入url,一直等待localhost,hive日志内容只有session相关信息

解决:

TException TSocket tiomeout:

这个问题最后并没有解决,只是发现hive大多数用于内网应用,于是直接往内网发展,连接一切正常。

4.hadoop方面

启动hadoop:start-dfs.sh start-yarn.sh

各个进程正常启动,但是之后发生问题,nodemanager shutdown:

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.net.ConnectTimeoutException: Call From sipedi-idc-gysj/220.250.64.225 to 0.0.0.0:8031 failed on socket timeout exception: org.apache.hadoop.net.ConnectTimeoutException: 20000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=0.0.0.0/0.0.0.0:8031];

这个问题也是出现在外网服务器上,和PHP连接的问题一样,改到内网应用,就没有再出现,但是估计这个问题应该是跟服务器的linux版本以及hadoop的具体配置有关,具体YARN的运行机制等到寒假再研究。

PHP速学教程(入门到精通)
PHP速学教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

php

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
拼多多赚钱的5种方法 拼多多赚钱的5种方法
拼多多赚钱的5种方法 拼多多赚钱的5种方法

在拼多多上赚钱主要可以通过无货源模式一件代发、精细化运营特色店铺、参与官方高流量活动、利用拼团机制社交裂变,以及成为多多进宝推广员这5种方法实现。核心策略在于通过低成本、高效率的供应链管理与营销,利用平台社交电商红利实现盈利。

98

2026.01.26

edge浏览器怎样设置主页 edge浏览器自定义设置教程
edge浏览器怎样设置主页 edge浏览器自定义设置教程

在Edge浏览器中设置主页,请依次点击右上角“...”图标 > 设置 > 开始、主页和新建标签页。在“Microsoft Edge 启动时”选择“打开以下页面”,点击“添加新页面”并输入网址。若要使用主页按钮,需在“外观”设置中开启“显示主页按钮”并设定网址。

12

2026.01.26

苹果官方查询网站 苹果手机正品激活查询入口
苹果官方查询网站 苹果手机正品激活查询入口

苹果官方查询网站主要通过 checkcoverage.apple.com/cn/zh/ 进行,可用于查询序列号(SN)对应的保修状态、激活日期及技术支持服务。此外,查找丢失设备请使用 iCloud.com/find,购买信息与物流可访问 Apple (中国大陆) 订单状态页面。

74

2026.01.26

npd人格什么意思 npd人格有什么特征
npd人格什么意思 npd人格有什么特征

NPD(Narcissistic Personality Disorder)即自恋型人格障碍,是一种心理健康问题,特点是极度夸大自我重要性、需要过度赞美与关注,同时极度缺乏共情能力,背后常掩藏着低自尊和不安全感,影响人际关系、工作和生活,通常在青少年时期开始显现,需由专业人士诊断。

5

2026.01.26

windows安全中心怎么关闭 windows安全中心怎么执行操作
windows安全中心怎么关闭 windows安全中心怎么执行操作

关闭Windows安全中心(Windows Defender)可通过系统设置暂时关闭,或使用组策略/注册表永久关闭。最简单的方法是:进入设置 > 隐私和安全性 > Windows安全中心 > 病毒和威胁防护 > 管理设置,将实时保护等选项关闭。

6

2026.01.26

2026年春运抢票攻略大全 春运抢票攻略教你三招手【技巧】
2026年春运抢票攻略大全 春运抢票攻略教你三招手【技巧】

铁路12306提供起售时间查询、起售提醒、购票预填、候补购票及误购限时免费退票五项服务,并强调官方渠道唯一性与信息安全。

89

2026.01.26

个人所得税税率表2026 个人所得税率最新税率表
个人所得税税率表2026 个人所得税率最新税率表

以工资薪金所得为例,应纳税额 = 应纳税所得额 × 税率 - 速算扣除数。应纳税所得额 = 月度收入 - 5000 元 - 专项扣除 - 专项附加扣除 - 依法确定的其他扣除。假设某员工月工资 10000 元,专项扣除 1000 元,专项附加扣除 2000 元,当月应纳税所得额为 10000 - 5000 - 1000 - 2000 = 2000 元,对应税率为 3%,速算扣除数为 0,则当月应纳税额为 2000×3% = 60 元。

23

2026.01.26

oppo云服务官网登录入口 oppo云服务登录手机版
oppo云服务官网登录入口 oppo云服务登录手机版

oppo云服务https://cloud.oppo.com/可以在云端安全存储您的照片、视频、联系人、便签等重要数据。当您的手机数据意外丢失或者需要更换手机时,可以随时将这些存储在云端的数据快速恢复到手机中。

63

2026.01.26

抖币充值官方网站 抖币性价比充值链接地址
抖币充值官方网站 抖币性价比充值链接地址

网页端充值步骤:打开浏览器,输入https://www.douyin.com,登录账号;点击右上角头像,选择“钱包”;进入“充值中心”,操作和APP端一致。注意:切勿通过第三方链接、二维码充值,谨防受骗

24

2026.01.26

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 9.6万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.2万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 0.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号