我用Jsoup写爬虫,一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。
创新互联服务项目包括楚雄州网站建设、楚雄州网站制作、楚雄州网页制作以及楚雄州网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,楚雄州网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到楚雄州省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!
1、有些页面元素被隐藏起来了-换selector解决
2、有些数据保存在js/json对象中-截取对应的串,分析解决
3、通过api接口调用-伪造请求获得数据
还有一个终极方法
4、使用phantomjs或者casperjs这种headless浏览器
java web 是没有办法批量下载图片到客户端的。
你在客户端电脑上运行java web 就好了。
解决这种大文件上传不太可能用web上传的方式,只有自己开发插件或是当门客户端上传,或者用现有的ftp等。
1)开发一个web插件。用于上传文件。
2)开发一个FTP工具,不用web上传。
3)用现有的FTP工具。
下面是几款不错的插件,你可以试试:
1)Jquery的uploadify插件。具体使用。你可以看帮助文档。