国外光头佬暴怒,一个Facebook爬虫每天向我的愚蠢网站发出700万个请求
人生(杂谈)  /  管理员 发布于 4年前   1132
国外光头佬暴怒,一个Facebook爬虫每天向我的愚蠢网站发出700万个请求
刚刚在dev.to看到一个国外光头佬发出一则文章感觉有点搞笑,发出来给大家娱乐一下,
顺便发一下牢骚,百度爬虫为什么不来我网站每天爬个700万次
我拥有一个用于进行SEO实验的小网站。
当然,每个帖子都有一些内容和一个Facebook分享按钮。
该网站很小,无法在“单个控制器” PHP应用程序和400kb SQLite数据库上运行,但是可以生成数千个不同的页面。
一切(连同许多其他网站)都托管在廉价的DigitalOcean机器+免费的cloudflare计划上,用于一些缓存。
这些网站之一引起了一些警报,它开始向我发出有关崩溃的警报。
经过一些调查,我发现了问题所在... Facebook爬虫
该爬虫每天向该网站发出超过700万个请求(峰值为300req /秒)。
他们的文档没有帮助阻止机器人。
og:ttl -> ignored
robots.txt -> ignored
HTTP 429 -> ignored
我不得不使用cloudflare规则阻止用户代理。
如果有人在dev.to上从事该爬虫的工作,请不要忽略有关爬虫的基本Internet网络礼节。
下次您可以在AWS上打人。然后他们可能会要求您付款;
123 在
Clash for Windows作者删库跑路了,github已404中评论 按理说只要你在国内,所有的流量进出都在监控范围内,不管你怎么隐藏也没用,想搞你分..原梓番博客 在
在Laravel框架中使用模型Model分表最简单的方法中评论 好久好久都没看友情链接申请了,今天刚看,已经添加。..博主 在
佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 @1111老铁这个不行了,可以看看近期评论的其他文章..1111 在
佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 网站不能打开,博主百忙中能否发个APP下载链接,佛跳墙或极光..路人 在
php中使用hyperf框架调用讯飞星火大模型实现国内版chatgpt功能示例中评论 教程很详细,如果加个前端chatgpt对话页面就完美了..Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号