某度tb图片爬虫-创新互联

#encoding:utf-8

成都创新互联-专业网站定制、快速模板网站建设、高性价比东至网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式东至网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖东至地区。费用合理售后完善,10余年实体公司更值得信赖。

import urllib

import urllib.request

from lxml import etree

class Spider(object):

def __init__(self):

self.tiebaName="校花"

self.beginPage=1

self.endPage=3

self.url="http://tieba.baidu.com/f?"

self.ua_header = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"}

self.fileName=1

#构造url

def tiebaSpider(self):

for page in range(self.beginPage,self.endPage+1):

pn=(page-1)*50

wo={'pn':pn,'kw':self.tiebaName}

word=urllib.parse.urlencode(wo)

myurl=self.url+word

self.loadPage(myurl)

#爬取页面内容

def loadPage(self,url):

req=urllib.request.Request(url,headers=self.ua_header)

data=urllib.request.urlopen(req).read()

html=etree.HTML(data)

links=html.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href')

for link in links:

link="http://tieba.baidu.com"+link

self.loadImages(link)

#爬取帖子详情页,获得图片的链接

def loadImages(self,link):

req=urllib.request.Request(link,headers=self.ua_header)

data=urllib.request.urlopen(req).read()

html=etree.HTML(data)

links=html.xpath('//img[@class="BDE_Image"]/@src')

for imageslink in links:

self.writeImages(imageslink)

#通过图片所在链接,爬取图片并保存图片到本地

def writeImages(self,imagesLink):

function(){ //技术指标 http://www.fx61.com/faq/muniu/437.html

print("正在存储图片:",self.fileName,"....")

image=urllib.request.urlopen(imagesLink).read()

#保存图片到本地

file=open(r"C:\file\img\\"+str(self.fileName)+".jpg","wb")

file.write(image)

file.close()

self.fileName+=1

if __name__ == '__main__':

mySpider=Spider()

mySpider.tiebaSpider()

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


新闻标题:某度tb图片爬虫-创新互联
网页网址:http://bzwzjz.com/article/pshgi.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 高端网站设计 成都网站设计 营销网站建设 专业网站设计 成都品牌网站设计 企业网站设计 成都网站设计 成都网站制作 成都网站设计 成都网站建设公司 成都网站建设公司 盐亭网站设计 梓潼网站设计 成都网站建设流程 高端网站设计 成都网站建设 重庆网站制作 网站设计制作 成都响应式网站建设 企业手机网站建设 成都网站制作 营销网站建设