大数据爬虫安装的示例分析

这篇文章主要介绍大数据爬虫安装的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

创新互联公司自2013年起,先为井陉矿等服务建站,井陉矿等地企业,进行企业商务咨询服务。为井陉矿企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

爬虫安装前准备工作:大数据平台安装完成、zookeeper、redis、elasticsearch、MySQL等组件安装启动成功。

1、修改爬虫安装配置文件(最好在线下修改好后再上传平台)

大数据爬虫安装的示例分析 

大数据爬虫安装的示例分析 

2、修改crawler\dkcrw\jdbc.properties配置文件(只修改图片里的内容其他内容默认即可)

大数据爬虫安装的示例分析 

Hbase.zookeeper.quorum所填地址应在DKM监控平台查看:

大数据爬虫安装的示例分析 

Redis相关配置看如下界面:

大数据爬虫安装的示例分析 

3、把已修改的crawler\dkcrw\下的jdbc.properties配置文件替换到\crawler\dkcrw-tomcat-7.0.56\webapps\ROOT\WEB-INF\classes下(这下面有一个没有改好的直接替换)

大数据爬虫安装的示例分析 

修改好后把修改好的爬虫文件打压成压缩文件

4、上传平台主节点并解压(这里就不介绍怎么上传了的了,本次例子是上传到root目录下,安装包上传到任何目录下都可以推选root目录)

大数据爬虫安装的示例分析 

unzip 解压命令,解压唱功后会多了一个  cuawler  的文件夹

大数据爬虫安装的示例分析 

使用cd  crawler  命令进入  crawler 文件夹下

大数据爬虫安装的示例分析 

使用mysql -uroot -p123456 < numysql.sql 命令添加numysql.sql数据库

大数据爬虫安装的示例分析 

5、分发爬虫文件

大数据爬虫安装的示例分析 

每个节点都需要有dkcrw文件, dkcrw-tomcat-7.0.56文件只能放在一个节点上,不能放在主节点上(推选放在从节点)

命令:

scp -r  {要分发的文件名可填写多个,如果不在要分发文件的目录下请添加路径}  {分发到的服务器ip或名称:分发到的路径}

例如:

cd /opt/dkh

scp -r dkcrw dk2:/opt/dkh/

scp -r dkcrw dkcrw-tomcat-7.0.56/ dk2:/opt/dkh/

大数据爬虫安装的示例分析 

6、在分发了dkcrw-tomcat-7.0.56文件的节点上给文件添加权限

命令:

chmod -R 755 {需要给权限的文件等}

例如:

cd /opt/dkh

chmod -R 755 dkcrw dkcrw-tomcat-7.0.56/

大数据爬虫安装的示例分析 

7、启动爬虫界面

命令:

cd /opt/dkh/dkcrw-tomcat-7.0.56/bin/

./startup.sh

大数据爬虫安装的示例分析 

启动界面之后再浏览器中输入启动界面节点的IP,来打开爬虫界面看是否启动成功(账号密码是默认的)

大数据爬虫安装的示例分析 

8、启动每个节点的dkcrw.jar

命令:

主节点运行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar master > dkcrw.log 2>&1 &

从节点运行

cd /opt/dkh/dkcrw/

nohup java -jar dkcrw.jar slave > dkcrw.log 2>&1 &

注意:可以先使用前台启动爬虫,确定爬虫没错误。

前台启动命令java -jar dkcrw.jar master/slave

以上是“大数据爬虫安装的示例分析”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!


文章题目:大数据爬虫安装的示例分析
当前地址:http://bzwzjz.com/article/ppgggo.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都营销网站制作 app网站建设 高端定制网站设计 成都网站制作 成都网站设计 网站建设 网站建设 成都网站设计 网站建设方案 成都网站制作 高端网站设计 专业网站建设 成都网站设计 盐亭网站设计 成都网站建设 成都品牌网站设计 网站设计 重庆外贸网站建设 成都企业网站设计 成都网站建设 成都网站制作 企业手机网站建设