用实例解析Python如何爬取YY评级分数并保存数据-创新互联

这篇文章主要用实例解析Python如何爬取YY评级分数并保存数据,内容清晰明了,对此有兴趣的小伙伴可以学习一下,相信大家阅读完之后会有帮助。

成都创新互联公司主营鼓楼网站建设的网络公司,主营网站建设方案,App定制开发,鼓楼h5小程序设计搭建,鼓楼网站营销推广欢迎鼓楼等地区企业咨询

前言

当需要进行大规模查询时(比如目前遇到的情形:查询某个省所有发债企业的YY评级分数),人工查询显然太过费时,那就写个爬虫吧。

由于该爬虫实在过于简单,就只简单概述下。

一、请求端

通过观察YY评级的网页信息,如下图(F12或右击进入检查,点击network—>XHR—>headers)。

红色框表明是个get请求(其实这种网页基本都是Ajax get,需要总结实际url的规律的)。

绿色框即为实际URL,通过分析该URL,其由两部分组成。前半部分为“
https://web.ratingdog.cn/v1/search?”,后半部分为黄色框内内容用“&”符号连接后的结果。黄色框内的内容,只有企业名称为变量,且为已知变量,那URL即可据此确定了。

用实例解析Python如何爬取YY评级分数并保存数据

另外需注意,YY评级需要登录才可查询数据,在构建头部信息进行访问时,一定要提前登录,并在头部信息中放入登录信息和登录状态。

二、响应端

通过观察网页的响应信息(F12或右击进入检查,点击network—>XHR—>response),如下图。响应信息及其简单,我们所需要的YY评级分数安详地躺在那里,简单到一个正则表达式就可以提取出该数据。正则如下:

"msg".*?"IssuerName":"(.*?)","YYRating":"(.*?)/10","IntrinsicRating".*?"

用实例解析Python如何爬取YY评级分数并保存数据

三、代码

所需数据较少,代码相对简单,就不建立函数了,直接一路到底吧。如下:

用实例解析Python如何爬取YY评级分数并保存数据

运行代码后,得到结果如下。安徽省的100多条数据,就到了本地了

用实例解析Python如何爬取YY评级分数并保存数据

用实例解析Python如何爬取YY评级分数并保存数据

看完上述内容,是不是对用实例解析Python如何爬取YY评级分数并保存数据有进一步的了解,如果还想学习更多内容,欢迎关注创新互联成都网站设计公司行业资讯频道。

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


当前题目:用实例解析Python如何爬取YY评级分数并保存数据-创新互联
URL地址:http://bzwzjz.com/article/hoecs.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 网站建设开发 企业网站建设 成都网站建设 成都定制网站建设 成都网站设计 成都网站制作 成都网站设计制作公司 企业网站设计 网站建设改版 成都网站建设公司 广安网站设计 手机网站设计 营销型网站建设 成都网站设计 成都网站制作公司 手机网站制作 网站设计 重庆企业网站建设 高端网站设计推广 网站建设 网站制作 成都做网站建设公司