背景
创新互联建站是一家专注于成都网站设计、成都网站建设与策划设计,复兴网站建设哪家好?创新互联建站做网站,专注于网站建设十载,网设计领域的专业建站公司;建站业务涵盖:复兴等地区。复兴做网站价格咨询:18980820575
爬虫形势
Web安全形势一直不容乐观, 根据 Globaldots的2018年机器人报告 , 爬虫占据Web流量的42%左右.
为什么要反爬
防资源过度消耗
大量的机器人访问网站, 设想你的网站有42%的流量都不是真的人访问的. 相当一部分还会大量占用后台的网络带宽, 服务器计算, 存储资源.
防黄牛党
航空公司占座: 黄牛党利用恶意爬虫遍历航空公司的低价票，同时批量发起机器请求进行占座，导致航班座位资源被持续占用产生浪费，最终引发航班空座率高对航空公司造成业务损失，并且损害正常用户的利益。
防薅羊毛党
黄牛党在电商活动时针对有限的高价值商品的限时秒杀、优惠活动等可牟利场景，批量发起机器请求来模拟正常的交易，再将商品、资源进行倒卖从中赚取差价，导致电商企业的营销资源无法触达正常用户，而被黄牛牟取暴利。
防黑客
核心接口被刷: 登录、注册、短信等业务环节作为业务中的关键节点，相关接口往往会被黑客利用，为后续的欺诈行为作准备。
私信菜鸟007即可获取数十套PDF！
为什么需要日志分析
找出隐藏更深的机器人
爬虫与反爬虫是一个攻与防的过程, 根据前述报告, 高级机器人占据了74%的比例(剩余是比较简单的机器人), 而根据 FileEye M-Trends 2018报告 ，企业组织的攻击从发生到被发现，一般经过了多达101天，其中亚太地区问题更为严重，一般网络攻击被发现是在近498（超过16个月）之后。有了日志才能更好的找出隐藏很深的坏机器人.
了解机器人并区分对待
爬虫也分好与坏, 搜索引擎来查询, 才可以达到SEO效果并带来更多有价值的访问. 通过日志可以帮助管理员更好的区分哪些是好的机器人, 并依据做出更加适合自己的反爬配置.
保留报案证据
发现非法攻击的机器人, 可以保留攻击者信息与路径, 作为报警的重要证据.
增强运维效率
基于日志可以发现异常, 并能快速报警并采取行动.
更多附加功能
依托日志服务的其他功能, 可以发挥日志的更大价值.
阿里云反爬管理 - 实时日志分析概述
阿里云反爬管理
云盾Anti-Bot Service是一款网络应用安全防护产品，专业检测高级爬虫，降低爬虫、自动化工具对网站的业务影响。 产品提供从Web、App到API接口的一整套全面的恶意Bot防护解决方案，避免某一环节防护薄弱导致的安全短板。
阿里云日志服务
阿里云的日志服务（log service）是针对日志类数据的一站式服务，无需开发就能快捷完成海量日志数据的采集、消费、投递以及查询分析等功能，提升运维、运营效率。日志服务主要包括 实时采集与消费、数据投递、查询与实时分析 等功能，适用于从实时监控到数据仓库的各种开发、运维、运营与安全场景：
目前，阿里云WAF与日志服务打通，对外开发Web访问与攻击日志。提供近实时的网站具体的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。
发布地域
适用客户
功能优势
反爬日志实时查询分析服务具有以下功能优势：
开通前提
限制说明
反爬管理所存储的日志库属于专属的日志库，有如下限制：
使用场景
1.追踪机器人爬取与封禁日志，溯源安全威胁：
查看Top 100的爬取机器人列表:
2. 实时正常可信Web请求活动，洞察状态与趋势：
查看PV/UV访问趋势的SQL:
3. 快速了解安全运营效率，即时反馈处理：
查看有效请求与拦截率趋势的SQL:
4. 输出安全网络日志到自建数据与计算中心
进一步参考
我们会陆续发布WAF安全日志分析的最佳时间, 这里可以进一步参考相关用户手册：
有几种办法，您可以参考一下
第一种：在阿里云服务器里建一个FTP服务商，在本地用FTP客户端上传文件
第二种：进阿里云服务器远程界面的时候，把本地磁盘带进去，然后进服务器里直接从本地磁盘里把文件复制到服务器里
第三种：QQ安装到阿里云服务器里，用QQ对传
第四种：把本地文件上传到邮箱里 ，然后进阿里云服务器里打开您的邮箱，进去下载文件即可
首先你要远程连接上阿里云服务器，参见在本地客户端上连接Windows实例，在连接之前要在安全组规则放行3389端口。
不知道如何使用windows系统云服务器，可以参见 Windows云服务器搭建WordPress官方文档教程
windows云服务器远程登陆：
在Win10系统下使用“WIN+R”组合快捷键打开运行对话框，然后输入“mstsc",点击确定，如下图所示。
2、输入mstsc,弹出界面，并输入计算机ip
3、进行连接,并输入账号密码
Ecs服务器设置
云服务器的安全安全设置主要有以下几个比较重要的几个方面：
1、首先是服务器的用户管理，很多的攻击和破解，首先是针对于系统的远程登录，毕竟拿到登录用户之后就能进入系统进行操作，所以首先要做的就是禁止root超级用户的远程登录。
2、把ssh的默认端口改为其他不常用的端口。你可能不知道我们的服务器其实每天都在被很多的扫描工具在扫描着，尤其是对于Linux服务器的ssh默认22端口，扫描工具扫描出22端口之后就可能会尝试破解和登录。把ssh的默认端口修改后可以减少被扫描和暴力登录的概率。此外你还可以使用fail2ban等程序防止ssh被暴力破解，其原理是尝试多少次登录失败之后就把那个IP给禁止登录了。
3、SSH 改成使用密钥登录，这样子就不必担心暴力破解了，因为对方不可能有你的密钥，比密码登录安全多了。
4、一定要定期检查和升级你的网站程序以及相关组件，及时修复那些重大的已知漏洞。网上也有很多的爬虫机器人每天在扫描着各式各样的网站，尝试找系统漏洞。即使你前面把服务器用户权限管理、登录防护都做得很好了，然而还是有可能在网站程序上被破解入侵。
5、另外如果云服务器上运行多个网站系统(博客+企业官网)。我推荐使用docker容器的方式隔离运行环境，将每个程序运行在一个单独的容器里，这样即使服务器上其中的一个网站程序被破解入侵了，也会被限制在被入侵的容器内，不会影响到其他的容器，也不会影响到系统本身，具体信息可在阿里云了解。