如何用python中爬虫框架scrapy的命令行

这篇文章给大家分享的是有关如何用python中爬虫框架scrapy的命令行的内容。小编觉得挺实用的,因此分享给大家做个参考。一起跟随小编过来看看吧。

从网站建设到定制行业解决方案,为提供成都网站制作、成都网站设计服务体系,各种行业企业客户提供网站建设解决方案,助力业务快速发展。创新互联公司将不断加快创新步伐,提供优质的建站服务。

关于命令详细使用

命令的使用范围

这里的命令分为全局的命令和项目的命令,全局的命令表示可以在任何地方使用,而项目的命令只能在项目目录下使用

全局的命令有:

startproject
genspider
settings
runspider
shell
fetch
view
version

项目命令有:

crawl
check
list
edit
parse
Bench

startproject

这个命令没什么过多的用法,就是在创建爬虫项目的时候用

genspider

用于生成爬虫,这里scrapy提供给我们不同的几种模板生成spider,默认用的是basic,我们可以通过命令查看所有的模板

crawl

这个是用去启动spider爬虫格式为:scrapy crawl 爬虫名字

这里需要注意这里的爬虫名字和通过scrapy genspider 生成爬虫的名字是一致的

fetch

scrapy fetch url地址

该命令会通过scrapy downloader 讲网页的源代码下载下来并显示出来

这里有一些参数:

--nolog 不打印日志

--headers 打印响应头信息

--no-redirect 不做跳转

感谢各位的阅读!关于如何用python中爬虫框架scrapy的命令行就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到吧!


网站栏目:如何用python中爬虫框架scrapy的命令行
本文链接:http://bzwzjz.com/article/pshjsh.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站建设 成都网站建设 成都h5网站建设 重庆手机网站建设 成都企业网站制作 高端品牌网站建设 成都网站制作 手机网站制作 成都企业网站设计 成都网站制作 网站设计制作 自适应网站建设 成都网站建设 定制网站建设多少钱 成都网站设计 阿坝网站设计 四川成都网站制作 手机网站建设 成都品牌网站建设 成都网站建设 定制级高端网站建设 品牌网站建设