版权声明:
作者:虚无境
博客园出处:http://www.cnblogs.com/xuwujing
CSDN出处:http://blog.csdn.net/qazwsxpcm
个人博客出处:http://www.panchengming.com
原创不易,转载请标明出处,谢谢!
创新互联专业为企业提供顺义网站建设、顺义做网站、顺义网站设计、顺义网站制作等企业网站建设、网页设计与制作、顺义企业网站模板建站服务,十载顺义做网站经验,不只是建网站,更提供有价值的思路和整体网络服务。
在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境,在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍。本文主要讲解如何搭建Hadoop+Hive的环境。
本地虚拟机
操作系统:linux CentOS 7
Cpu:2核
内存:2G
硬盘:40G
说明:因为使用阿里云服务器每次都要重新配置,而且还要考虑网络传输问题,于是自己在本地便搭建了一个虚拟机,方便文件的传输以及相关配置,缺点是本来卡的电脑就变得更卡了。具体教程和使用在上一遍博文中。
地址: http://blog.csdn.net/qazwsxpcm/article/details/78816230。
JDK:1.8 (jdk-8u144-linux-x64.tar.gz)
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)
Hive: 2.1 (apache-hive-2.1.1-bin.tar.gz)
JDK:
http://www.oracle.com/technetwork/java/javase/downloads
Hadopp:
http://www.apache.org/dyn/closer.cgi/hadoop/common
Hive
http://mirror.bit.edu.cn/apache/hive/
百度云盘:
链接:https://pan.baidu.com/s/1slxBsHv 密码:x51i
在配置Hadoop+Hive之前,应该先做一下配置。
做这些配置为了方便,使用root权限。
首先更改主机名,目的是为了方便管理。
输入:
hostname
查看本机的名称
然后更改主机名为master
输入:
hostnamectl set-hostname master
注:主机名称更改之后,要重启(reboot)才会生效。
修改hosts文件,做关系映射
输入
vim /etc/hosts
添加
主机的ip 和 主机名称
192.168.238.128 master
关闭防火墙,方便访问。
CentOS 7版本以下输入:
关闭防火墙
service iptables stop
CentOS 7 以上的版本输入:
systemctl stop firewalld.service
查看当前时间
输入:
date
查看服务器时间是否一致,若不一致则更改
更改时间命令
date -s ‘MMDDhhmmYYYY.ss’
Hadoop的具体配置在大数据学习系列之一 ----- Hadoop环境搭建(单机) 中介绍得很详细了。所以本文就大体介绍一下。
注:具体配置以自己的为准。
编辑 /etc/profile 文件 :
vim /etc/profile
配置文件:
export HADOOP_HOME=/opt/hadoop/hadoop2.8
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH
先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下
输入:
vim core-site.xml
在
hadoop.tmp.dir
/root/hadoop/tmp
Abase for other temporary directories.
fs.default.name
hdfs://master:9000
输入:
vim hadoop-env.sh
将${JAVA_HOME} 修改为自己的JDK路径
export JAVA_HOME=${JAVA_HOME}
修改为:
export JAVA_HOME=/home/java/jdk1.8
输入:
vim hdfs-site.xml
在
dfs.name.dir
/root/hadoop/dfs/name
Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.
dfs.data.dir
/root/hadoop/dfs/data
Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.
dfs.replication
2
dfs.permissions
false
need not permissions
如果没有 mapred-site.xml 该文件,就复制mapred-site.xml.template文件并重命名为mapred-site.xml。
输入:
vim mapred-site.xml
修改这个新建的mapred-site.xml文件,在
mapred.job.tracker
master:9001
mapred.local.dir
/root/hadoop/var
mapreduce.framework.name
yarn
启动之前需要先格式化
切换到/home/hadoop/hadoop2.8/bin目录下
输入:
./hadoop namenode -format
格式化成功后,再切换到/home/hadoop/hadoop2.8/sbin目录下
启动hdfs和yarn
输入:
start-dfs.sh
start-yarn.sh
启动成功后,输入jsp查看是否启动成功
在浏览器输入 ip+8088 和ip +50070 界面查看是否能访问
能正确访问则启动成功
因为Hive的默认元数据是Mysql,所以先要安装Mysql。
Mysql有两种安装模式,可自行选择。
###1,yum安装
首先查看mysql 是否已经安装
输入:
rpm -qa | grep mysql
如果已经安装,想删除的话
输入:
普通删除命令:
rpm -e mysql
强力删除命令:
rpm -e --nodeps mysql
依赖文件也会删除
安装mysql
输入:
yum list mysql-server
如果没有,则通过wget命令下载该包
输入:
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
下载成功之后,再输入命令安装
yum install mysql-server
在安装过程中遇到选择输入y就行了
本文的Hadoop+Hive的配置就到此结束了,谢谢阅读!
更多的hive使用请参考官方文档
https://cwiki.apache.org/confluence/display/Hive/LanguageManual
环境搭建参考:
http://blog.csdn.net/pucao_cug/article/details/71773665