python获取js动态加载数据的方法

这篇文章给大家分享的是有关python获取js动态加载数据的方法的内容。小编觉得挺实用的,因此分享给大家做个参考。一起跟随小编过来看看吧。

创新互联:公司2013年成立为各行业开拓出企业自己的“网站建设”服务,为1000多家公司企业提供了专业的成都网站设计、成都网站建设、网页设计和网站推广服务, 按需网站建设由设计师亲自精心设计,设计的效果完全按照客户的要求,并适当的提出合理的建议,拥有的视觉效果,策划师分析客户的同行竞争对手,根据客户的实际情况给出合理的网站构架,制作客户同行业具有领先地位的。

python获取js动态加载数据的方法

我们在做网页抓取的时候,一般来说使用urllib和urllib2就能满足大部分需求。

但是有时候我们遇见那种使用js动态加载的网页。就会发现urllib只能抓出一个部分内容空白的网页。就像下面百度图片的结果页:

python获取js动态加载数据的方法

审查元素之后,发现百度图片中,显示图片的div为:pullimages

python获取js动态加载数据的方法

这个div里面的内容是动态加载的。而使用urllib&urllib2是抓取不到的。

要抓取动态加载的元素,首先考虑使用selenium来调用浏览器进行抓取。

而我们运行的环境是linux,最理想的方法是在无界面情况下进行抓取,所以使用selenium+phantomjs来进行无界面抓取。

phantomjs是什么呢?它是一个基于webkit内核的无头浏览器,即没有UI界面,即它就是一个浏览器。

selenium和phantomjs的安装配置可以google,这里就略过不谈了。

代码如下:

from selenium import webdriver
driver = webdriver.PhantomJS(executable_path='/bin/phantomjs/bin/phantomjs')
#如果不方便配置环境变量。就使用phantomjs的绝对路径也可以
driver.get('http://image.baidu.com/i?ie=utf-8&word=%E5%91%A8%E6%9D%B0%E4%BC%A6')
#抓取了百度图片,query:周杰伦
driver.page_source 
#这就是返回的页面内容了,与urllib2.urlopen().read()的效果是类似的,但比urllib2强在能抓取到动态渲染后的内容。
driver.quit()

到这里。就抓取动态页面成功了。

感谢各位的阅读!关于python获取js动态加载数据的方法就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到吧!


网页标题:python获取js动态加载数据的方法
当前路径:http://bzwzjz.com/article/gpghdg.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都企业网站建设 重庆网站制作 成都网站设计 成都网站设计 营销型网站建设 网站制作 成都模版网站建设 成都网站建设 重庆企业网站建设 古蔺网站建设 重庆外贸网站建设 定制网站建设 手机网站制作 企业网站建设 达州网站设计 自适应网站建设 响应式网站设计 网站建设方案 网站制作 成都网站建设公司 泸州网站建设 梓潼网站设计