对python多线程与global变量详解-创新互联

今天早上起来写爬虫,基本框架已经搭好,添加多线程爬取功能时,发现出错:

创新互联从2013年开始,是专业互联网技术服务公司,拥有项目网站制作、成都网站制作网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元西安做网站,已为上家服务,为西安各地企业和个人服务,联系电话:18980820575

比如在下载文件的url列表中加入200个url,开启50个线程。我的爬虫…竟然将50个url爬取并全部命名为0.html,也就是说,最后的下载结果,是有1个0.html(重复的覆盖了),还有1-150。下面是我的代码:

x = str(theguardian_globle.g)
 #x为给下载的文件命的名
 filePath = "E://wgetWeiBao//"+x+".html"
 try:
  wget.download(url,filePath)
  theguardian_globle.g+=1
  print x+" is downloading..."
 
 except:
  print "error!"

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


标题名称:对python多线程与global变量详解-创新互联
分享路径:http://bzwzjz.com/article/cdsjgd.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 古蔺网站建设 网站建设推广 成都网站建设 梓潼网站设计 成都网站设计 成都网站设计 泸州网站建设 成都网站制作 网站建设 成都响应式网站建设 成都网站设计公司 成都网站建设公司 网站制作 成都网站建设 手机网站制作 H5网站制作 成都网站建设 移动网站建设 成都响应式网站建设公司 外贸网站建设 营销型网站建设 四川成都网站制作