今天小编给大家分享一下python scrapy简单模拟登录的代码怎么写的相关知识点，内容详细，逻辑清晰，相信大部分人都还太了解这方面的知识，所以分享这篇文章给大家参考一下，希望大家阅读完这篇文章后有所收获，下面我们一起来了解一下吧。
创新互联建站专注于姚安企业网站建设,响应式网站开发,商城网站建设。姚安网站建设公司,为姚安等地区提供建站服务。全流程按需制作，专业设计，全程项目跟踪，创新互联建站专业和态度为您提供的服务
1、requests模块。直接携带cookies请求页面。
找到url，发送post请求存储cookie。
2、selenium(浏览器自动处理cookie)。
找到相应的input标签，输入文本，点击登录。
3、scrapy直接带cookies。
找到url，发送post请求存储cookie。
# -*- coding: utf-8 -*-
import scrapy
import re
class GithubLoginSpider(scrapy.Spider):
name = "github_login"
allowed_domains = ["github.com"]
start_urls = ["https://github.com/login"]
def parse(self, response): # 发送Post请求获取Cookies
authenticity_token = response.xpath("//input[@name="authenticity_token"]/@value").extract_first()
utf8 = response.xpath("//input[@name="utf8"]/@value").extract_first()
commit = response.xpath("//input[@name="commit"]/@value").extract_first()
form_data = {
"login": "pengjunlee@163.com",
"password": "123456",
"webauthn-support": "supported",
"authenticity_token": authenticity_token,
"utf8": utf8,
"commit": commit}
yield scrapy.FormRequest("https://github.com/session", formdata=form_data, callback=self.after_login)
def after_login(self, response): # 验证是否请求成功
print(re.findall("Learn Git and GitHub without any code!", response.body.decode()))知识点扩展：
parse_login方法是提交完表单后callback回调函数指定要执行的方法，为了验证是否成功。这里我们直接在response中搜索Welcome Liu这个字眼就证明登录成功。
这个好理解，重点是yield from super().start_resquests()，这个代表着如果一旦登录成功后，就直接带着登录成功后Cookie值，方法start_urls里面的地址。
这样的话登录成功后的response可以直接在parse里面写。
# -*- coding: utf-8 -*-
import scrapy
from scrapy import FormRequest,Request
class ExampleLoginSpider(scrapy.Spider):
name = "login_"
allowed_domains = ["example.webscraping.com"]
start_urls = ["http://example.webscraping.com/user/profile"]
login_url = "http://example.webscraping.com/places/default/user/login"
def parse(self, response):
print(response.text)
def start_requests(self):
yield scrapy.Request(self.login_url,callback=self.login)
def login(self,response):
formdata = {
"email":"liushuo@webscraping.com","password":"12345678"}
yield FormRequest.from_response(response,formdata=formdata,
callback=self.parse_login)
def parse_login(self,response):
# print(">>>>>>>>"+response.text)
if "Welcome Liu" in response.text:
yield from super().start_requests()以上就是“python scrapy简单模拟登录的代码怎么写”这篇文章的所有内容，感谢各位的阅读！相信大家阅读完这篇文章都有很大的收获，小编每天都会为大家更新不同的知识，如果还想学习更多的知识，请关注创新互联行业资讯频道。