Python实现网页爬虫基本实现代码怎么编写，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。
网站建设哪家好，找成都创新互联！专注于网页设计、网站建设、微信开发、微信平台小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了武威免费建站欢迎大家使用！
Python是一款功能强大的计算机程序语言，同时也可以被看做是一款面向对象的通用型语言。它的功能特点比较突出，极大的方便开发人员应用。在这里我们先来一起了解一下有关Python实现网页爬虫的方法。
今天看到一个网页，又因为在家里用电话线上网，一直在线阅读很麻烦。所以就写了个简单的程序把网页抓下来离线阅读，省点电话费：）这个程序因为主页面链接到的页面都在同一个目录下，结构很简单，只有一层。因此写了一些硬编码做链接地址的分析。
Python实现网页爬虫代码如下：
#!/usr/bin/env python # -*- coding: GBK -*- import urllib from sgmllib import SGMLParser class URLLister(SGMLParser): def reset(self): SGMLParser.reset(self) self.urls = [] def start_a(self, attrs): href = [v for k, v in attrs if k == 'href'] if href: self.urls.extend(href) url = r'http://www.sinc.sunysb.edu/Clubs/buddhism/JinGangJingShuoShenMo/' sock = urllib.urlopen(url) htmlSource = sock.read() sock.close() #print htmlSource f = file('jingangjing.html', 'w') f.write(htmlSource) f.close() mypath = r'http://www.sinc.sunysb.edu/Clubs/buddhism/JinGangJingShuoShenMo/' parser = URLLister() parser.feed(htmlSource) for url in parser.urls: myurl = mypath + url print "get: " + myurl sock2 = urllib.urlopen(myurl) html2 = sock2.read() sock2.close() # 保存到文件 print "save as: " + url f2 = file(url, 'w') f2.write(html2) f2.close()看完上述内容是否对您有帮助呢？如果还想对相关知识有进一步的了解或阅读更多相关文章，请关注创新互联行业资讯频道，感谢您对创新互联的支持。