国外光头佬暴怒,一个Facebook爬虫每天向我的愚蠢网站发出700万个请求
人生(杂谈)  /  管理员 发布于 2年前   667
国外光头佬暴怒,一个Facebook爬虫每天向我的愚蠢网站发出700万个请求
刚刚在dev.to看到一个国外光头佬发出一则文章感觉有点搞笑,发出来给大家娱乐一下,
顺便发一下牢骚,百度爬虫为什么不来我网站每天爬个700万次
我拥有一个用于进行SEO实验的小网站。
当然,每个帖子都有一些内容和一个Facebook分享按钮。
该网站很小,无法在“单个控制器” PHP应用程序和400kb SQLite数据库上运行,但是可以生成数千个不同的页面。
一切(连同许多其他网站)都托管在廉价的DigitalOcean机器+免费的cloudflare计划上,用于一些缓存。
这些网站之一引起了一些警报,它开始向我发出有关崩溃的警报。
经过一些调查,我发现了问题所在... Facebook爬虫
该爬虫每天向该网站发出超过700万个请求(峰值为300req /秒)。
他们的文档没有帮助阻止机器人。
og:ttl -> ignored
robots.txt -> ignored
HTTP 429 -> ignored
我不得不使用cloudflare规则阻止用户代理。
如果有人在dev.to上从事该爬虫的工作,请不要忽略有关爬虫的基本Internet网络礼节。
下次您可以在AWS上打人。然后他们可能会要求您付款;
博主 在
centos7中Meili Search搜索引擎安装流程步骤中评论 @鹿 执行以下命令看看你的2.27版本是否存在strin..鹿 在
centos7中Meili Search搜索引擎安装流程步骤中评论 这是我的错误提示,下载了对应的glibc-2.25.tar.gz后续按照教程操作..阿凡达123 在
golang 怎么做热更新中评论 也可以看看这个:https://github.com/edwingeng/hot..博主 在
hyperf框架常用命令-在centos7中退出命令及在docker容器中退出命令中评论 @路过的靓仔:cdn静态资源被墙,已修复..GGGGGGGGG 在
layui框架常用输入框介绍中评论 写的很好解决问题..
Copyright·© 2019 侯体宗版权所有·
粤ICP备20027696号