怎么用python获取百度热榜链接-创新互联

这期内容当中小编将会给大家带来有关怎么用python获取百度热榜链接,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

创新互联是一家专业提供赞皇企业网站建设,专注与成都网站建设、成都网站设计、H5建站、小程序制作等业务。10年已为赞皇众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

目标网址:

https://www.baidu.com/

要获取的内容:

怎么用python获取百度热榜链接

链接分析:

从下图可以看出只需要获取关键字,再构建就可以了。

怎么用python获取百度热榜链接

完整代码:

import requests
import pprint
import re
import urllib.parse

url = 'https://www.baidu.com/'

headers = {
    'Host': 'www.baidu.com',
    'Referer': 'https://www.baidu.com/',
    'User-Agent': 你的User-Agent,
    'Cookie': 你的Cookie
}

response = requests.get(url, headers=headers).content.decode('utf-8')
# 获取关键字
pat = '"pure_title": "(.*?)"'
keyword = re.findall(pat, response, re.S)
print(len(keyword))

for hot_word in keyword:
    # 汉字不符合url标准,所以这里需要进行url编码
    i = urllib.parse.quote(hot_word, encoding='utf-8', errors='replace')
    # url构建
    link = f'https://www.baidu.com/s?cl=3&tn=baidutop10&fr=top1000&wd={i}&rsv_idx=2&rsv_dl=fyb_n_homepage&hisfilter=1'
    print(link)

你会发现结果很长:

怎么用python获取百度热榜链接

但其实关键字后面的几个参数是可以去掉的,这样url就没有那么长了。

怎么用python获取百度热榜链接

上述就是小编为大家分享的怎么用python获取百度热榜链接了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联-成都网站建设公司行业资讯频道。


网页名称:怎么用python获取百度热榜链接-创新互联
分享地址:http://bzwzjz.com/article/ccgpge.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站建设公司 高端网站设计 网站制作 网站建设 成都网站设计 外贸营销网站建设 成都定制网站建设 成都网站建设流程 成都企业网站建设 四川成都网站制作 泸州网站建设 企业网站设计 专业网站建设 成都网站建设 外贸网站设计方案 营销型网站建设 成都网站设计 网站制作 手机网站制作设计 成都网站建设公司 成都网站设计 网站设计