python爬取网站数据,如何绕过反爬虫策略

1、使用session对象

10年积累的成都网站制作、成都网站建设、外贸营销网站建设经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先网站设计后付款的网站建设流程,更有五台免费网站建设让你可以放心的选择与我们合作。

session = requests.session()
strhtml = session.get(url) #与当前网站的首次会话

2、设置headers

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                         "Chrome/69.0.3497.100 Safari/537.36",
           "Accept": "application/json"}
session.headers = headers

3、设置cookies

设置与网站首次会话时的cookies为默认的cookies

cookies = session.cookies
session.headers.setdefault('cookies', cookies)

此后,可以复用之前会话中的cookies了

strhtml2 = session.get(url2)

本文题目:python爬取网站数据,如何绕过反爬虫策略
文章URL:http://bzwzjz.com/article/gjjchd.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站建设 定制网站设计 成都网站设计公司 四川成都网站建设 重庆电商网站建设 企业网站设计 成都网站建设 成都网站制作 成都商城网站建设 成都网站设计 手机网站制作设计 古蔺网站建设 成都网站建设公司 响应式网站设计 app网站建设 达州网站设计 网站建设开发 企业网站建设公司 成都企业网站制作 成都网站设计 成都企业网站建设 成都网站建设流程