Mac环境下如何使用PythonScrapy框架

这篇文章主要介绍了Mac环境下如何使用Python Scrapy框架,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

创新互联专注为客户提供全方位的互联网综合服务,包含不限于成都做网站、成都网站设计、固镇网络推广、微信平台小程序开发、固镇网络营销、固镇企业策划、固镇品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联为所有大学生创业者提供固镇建站搭建服务,24小时服务热线:028-86922220,官方网址:www.cdcxhl.com

前言

Scrapy的下载

在终端中输入代码'pip3 install scrapy'。

Mac环境下如何使用Python Scrapy框架

创建Scrapy项目

假设你希望将项目保存至桌面名为Python的文件夹中。可以在终端中输入'cd ',并将Python文件夹拖拽至其后。换行后,继续输入'scrapy startproject ScrapyProject',此处的ScrapyProject为该项目的名字,可根据情况自行定义。

Mac环境下如何使用Python Scrapy框架

创建爬虫文件

同样在ScrapyProject文件夹内,找到spiders文件夹,并在内创建一个新的爬虫文件,如下图的book.py。(需要与_pychache_及_init_文件同级。)

编辑爬虫文件

此处的爬虫文件为整个Scrapy项目的核心,数据的解析与提取都是在这一步进行的。

Mac环境下如何使用Python Scrapy框架

运行Scrapy程序

在ScrapyProject文件夹内,找到settings.py文档,并更改好user_agent相关信息。之后再在终端输入代码scrapy crawl book即可。(book为此爬虫的名字。)

注:上述内容皆为Mac环境下的操作。

感谢你能够认真阅读完这篇文章,希望小编分享的“Mac环境下如何使用Python Scrapy框架”这篇文章对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,更多相关知识等着你来学习!


文章标题:Mac环境下如何使用PythonScrapy框架
本文路径:http://bzwzjz.com/article/jjjssi.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 重庆企业网站建设 手机网站建设 成都网站建设 成都网站建设 商城网站建设 企业网站建设 广安网站设计 攀枝花网站设计 成都定制网站建设 营销网站建设 成都网站建设 响应式网站设计方案 网站设计制作 成都网站建设 成都响应式网站建设 网站建设开发 成都网站建设 成都网站设计 成都网站建设 定制级高端网站建设 重庆手机网站建设 品牌网站建设