创新互联Python教程:用python可以下载网页源码吗

python可以下载网页的源代码,使用urllib库,或者使用更为方便的requests库。

import urllib2
def download(url, num_retries = 5):
    '''
    function: 下载网页源代码,如果遇到 5xx 错误状态,则继续尝试下载,直到下载 num_retries 次为止。
    '''
    print "downloading " , url
    try:
        html = urllib2.urlopen(url).read()
    except urllib2.URLError as e:
        print "download error: " , e.reason
        html = None
        if num_retries > 0:
            if hasattr(e,'code') and 500 <= e.code < 600:
                return download(url, num_retries-1)

    return html

其中 url 即为你想现在的网页地址。 num_reties 为遇到 5xx 错误的时候,重试下载的次数。

更多学习内容,请点击python学习网。


分享题目:创新互联Python教程:用python可以下载网页源码吗
网站地址:http://bzwzjz.com/article/codjeji.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站制作 成都网站建设 四川成都网站设计 定制网站建设 营销型网站建设 品牌网站建设 专业网站设计 app网站建设 成都营销网站建设 网站建设 成都网站建设 公司网站建设 营销型网站建设 高端网站设计 成都网站建设 成都网站建设公司 成都网站设计 达州网站设计 成都网站建设 上市集团网站建设 成都网站建设 成都网站建设