利用wget和队列模拟网络爬虫(不带判重程序)

/*
利用wget  指令和队列 模拟实现网络爬虫
利用自己的站点wzsts.host3v.com测试了一下
有一点错误
文件运行后拿到index.html
对于连接仅仅可以拿到 html 和htm 结尾的 而.com的没有考虑(设计文件可能多)
一次测试后了解到如下问题:
1.文件应该有树形话还原网站目录
2.文本记录的连接应该分类化
项目运行需要 su 根权限进行 
因为mv命令
本项目仅仅适合在linux下运行
本项目给真真的linux 爬虫做铺垫
*/
#include
using namespace std;
#include 
#include 
#include 
string s("index.html");
queueq;
 //略去一段
int main()
{
 //index.html
system("wget wzsts.host3v.com");

ofstream out("out.txt"); 
string mv("mv ");
string html(" html");
q.push(s);
  while(!q.empty())
   {
out<            
            
                        
网站标题:利用wget和队列模拟网络爬虫(不带判重程序)
URL链接:http://bzwzjz.com/article/jojsjh.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 网站制作公司 定制网站制作 成都网站设计 高端品牌网站建设 响应式网站设计方案 温江网站设计 营销型网站建设 响应式网站设计 手机网站设计 成都网站设计 成都网站制作 成都网站设计 网站建设改版 成都网站建设 成都网站制作 高端网站设计 成都网站制作 定制级高端网站建设 网站建设方案 成都网站建设 成都网站制作 专业网站设计