离线部署CDH5.12.1及使用CDH部署Ha

Cloudera Manager

Cloudera Manager 分为两个部分：CDH和CM。

成都创新互联作为成都网站建设公司，专注网站建设公司、网站设计，有关成都定制网页设计方案、改版、费用等问题，行业涉及除甲醛等多个领域，已为上千家企业服务，得到了客户的尊重与认可。

CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。

CM是cloudera manager的简称，是CDH的管理平台，主要包括CM server, CM agent。通过CM可以对CDH进行配置，监测，报警，log查看，动态添加删除各种服务等。

一、准备工作

环境

JDK:1.8  
centos:7.3

操作系统：CentOS 6
JDK 版本：1.7.0_80

所需安装包及版本说明：由于我们的操作系统为CentOS7，需要下载以下文件：

cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz

CDH-5.12.1-1.cdh6.12.1.p0.3-el7.parcel

CDH-5.12.1-1.cdh6.12.1.p0.3-el7.parcel.sha1

manifest.json

Cloudera Manager 下载目录
http://archive.cloudera.com/cm5/cm/5/

CDH 下载目录
http://archive.cloudera.com/cdh6/parcels/5.12.1/

manifest.json 下载
http://archive.cloudera.com/cdh6/parcels/5.12.1/manifest.json

CHD5 相关的 Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录中

CDH-5.12.1-1.cdh6.12.1.p0.3-el7.parcel.sha1 重命名为 CDH-5.12.1-1.cdh6.12.1.p0.3-el7.parcel.sha

这点必须注意，否则，系统会重新下载 CDH-5.12.1-1.cdh6.12.1.p0.3-el6.parcel 文件

本文采用离线安装方式，在线安装方式请参照官方文

二、系统环境搭建

1、网络配置(所有节点)

修改 hostname

命令格式

hostnamectl set-hostname 

依次修改所有节点 node[1-7]

hostnamectl set-hostname node1

重启服务器

reboot

修改映射关系

1.在 node1 的 /etc/hosts 文件下添加如下内容

$ vi /etc/hosts

2.查看修改后的/etc/hosts 文件内容

[root@node7 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.252.121 node1
192.168.252.122 node2
192.168.252.123 node3
192.168.252.124 node4
192.168.252.125 node5
192.168.252.126 node6
192.168.252.127 node7

2、SSH 免密码登录

1.在集群node1的 /etc/ssh/sshd_config 文件去掉以下选项的注释

vi /etc/ssh/sshd_config 

RSAAuthentication yes      #开启私钥验证
PubkeyAuthentication yes   #开启公钥验证

2.将集群node1 修改后的 /etc/ssh/sshd_config 通过 scp 命令复制发送到集群的每一个节点

for a in {2..7} ; do scp /etc/ssh/sshd_config node$a:/etc/ssh/sshd_config ; done

3.生成公钥、私钥

1.在集群的每一个节点节点输入命令 ssh-keygen -t rsa -P ''，生成 key，一律回车

ssh-keygen -t rsa -P ''

4.在集群的node1 节点输入命令

将集群每一个节点的公钥id_rsa.pub放入到自己的认证文件中authorized_keys;

for a in {1..7}; do ssh root@node$a cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys; done

5.在集群的node1 节点输入命令

将自己的认证文件 authorized_keys 通过scp命令复制发送到每一个节点上去:/root/.ssh/authorized_keys`

for a in {1..7}; do scp /root/.ssh/authorized_keys root@node$a:/root/.ssh/authorized_keys ; done

6.在集群的每一个节点节点输入命令

接重启ssh服务

sudo systemctl restart sshd.service

7.验证 ssh 无密登录

开一个其他窗口测试下能否免密登陆

例如：在node3

ssh root@node2

exit 退出

3、关闭防火墙

systemctl stop firewalld.service

4、关闭 SELINUX

查看

[root@node1 ~]# getenforce
Enforcing
[root@node1 ~]# /usr/sbin/sestatus -v
SELinux status:  

临时关闭

## 设置SELinux 成为permissive模式
## setenforce 1 设置SELinux 成为enforcing模式
setenforce 0

永久关闭

vi /etc/selinux/config

将 SELINUX=enforcing 改为 SELINUX=disabled

设置后需要重启才能生效

PS 我是修改node1 的 /etc/selinux/config 后，把配置文件复制到其他节点

for a in {2..7}; do scp /etc/selinux/config root@node$a:/etc/selinux/config ; done

重启所有节点

reboot

5、安装 JDK

下载Linux环境下的jdk1.8，请去（官网）中下载jdk的安装文件

我在百度云盘分下的链接：http://pan.baidu.com/s/1jIFZF9s 密码：u4n4

上传在 /opt 目录

解压

cd /opt
tar zxvf jdk-8u144-linux-x64.tar.gz
mv jdk1.8.0_144/ /lib/jvm

配置环境变量

vi /etc/profile

#jdk
export JAVA_HOME=/lib/jvm
export JRE_HOME=${JAVA_HOME}/jre   
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   
export PATH=${JAVA_HOME}/bin:$PATH 

使环境变量生效

source /etc/profile

验证

[root@localhost ~]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

6、设置 NTP

所有节点安装 NTP

yum install ntp

设置同步

ntpdate -d 182.92.12.11

7、安装配置 MySql

主节点 安装 MySql

MySQL依赖于libaio 库

yum search libaio
yum install libaio

下载，解压，重命名

通常解压在 /usr/local/mysql

把mysql-5.7.19-linux-glibc2.12-x86_64 文件夹，重命名成mysql,这样就凑成/usr/local/mysql目录了

cd /opt/
wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz
tar -zxvf /opt/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz -C /usr/local/
mv /usr/local/mysql-5.7.19-linux-glibc2.12-x86_64/ /usr/local/mysql

1. 新建用户组和用户

groupadd mysql
useradd mysql -g mysql

2. 创建目录并授权

cd /usr/local/mysql/ 
mkdir data mysql-files
chmod 750 mysql-files
chown -R mysql .
chgrp -R mysql .

3. 初始化MySQL

bin/mysqld --initialize --user=mysql # MySQL 5.7.6 and up

4. 注意密码 mysql 临时密码

[注意]root@localhost生成临时密码：;b;s;)/rn6A3,也就是root@localhost:后的字符串

2017-09-24T08:34:08.643206Z 1 [Note] A temporary password is generated for root@localhost: D

5. 授予读写权限

chown -R root .
chown -R mysql data mysql-files

6. 添加到MySQL 启动脚本到系统服务

cp support-files/mysql.server /etc/init.d/mysql.server

7. 给日志目录授予读写权限

mkdir /var/log/mariadb
touch /var/log/mariadb/mariadb.log
chown -R mysql:mysql /var/log/mariadb

8. 修改 /etc/my.cnf

vi /etc/my.cnf

修改 [mysqld]组下的 socket 路径，注释掉/var/lib/mysql/mysql.sock，加一行为tmp/mysql.soc

[mysqld]
datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
socket=/tmp/mysql.sock

9.启动MySQL服务

service mysql.server start

或者

/usr/local/mysql/support-files/mysql.server start

10. 登录MySQL

/usr/local/mysql/bin/mysql -uroot -p
Enter password: 

如果不知道密码
密码在，安装MySQL步骤 4 ，有提到，怎么找初始化临时密码

11. 设置MySQL密码

登陆成功后，设置MySQL密码

mysql> ALTER USER   'root'@'localhost' identified by 'mima';
mysql> flush privileges;

12. 开启远程登录

mysql> grant all privileges on *.*  to  'root'@'%'  identified by 'mima'  with grant option;
mysql> flush privileges;
mysql> exit;

yum -y install chkconfig
yum -y install bind-utils
yum -y install psmisc
yum -y install libxslt
yum -y install zlib
yum -y install sqlite
yum -y install cyrus-sasl-plain
yum -y install cyrus-sasl-gssapi
yum -y install fuse
yum -y install portmap
yum -y install fuse-libs
yum -y install redhat-lsb

mkdir /opt/cloudera-manager

for a in {2..7}; do scp /opt/cloudera-manager-*.tar.gz root@node$a:/opt/ ; done

cd /opt
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

useradd --system --home=/opt/cloudera-manager/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

cd /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/
vi config.ini

for a in {1..7}; do scp /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini root@node$a:/opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini ; done

cd /opt/cloudera-manager/cm-5.12.1/share/cmf/lib
wget http://maven.aliyun.com/nexus/service/local/repositories/hongkong-nexus/content/Mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar

service mysql.server start

cd /opt/cloudera-manager/cm-5.12.1/share/cmf/schema/

./scm_prepare_database.sh mysql cm -h node1 -uroot -pmima --scm-host node1 scm scm scm

[main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

scm_prepare_database.sh mysql cm -h  -u  -p --scm-host   scm scm scm

对应于：数据库类型  数据库 服务器 用户名 密码  –scm-host  Cloudera_Manager_Server 所在节点……

CDH-5.12.1-1.cdh6.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh6.12.1.p0.3-el7.parcel.sha
manifest.json

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
cd /opt/cloudera/parcel-repo

mv CDH-5.12.1-1.cdh6.12.1.p0.3-el7.parcel.sha1 CDH-5.12.1-1.cdh6.12.1.p0.3-el7.parcel.sha

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

/opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start

/opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

echo 0 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled 

create database amon DEFAULT CHARACTER SET utf8; 
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';

create database hive DEFAULT CHARACTER SET utf8; 
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';

create database oozie DEFAULT CHARACTER SET utf8; 
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';