国外光头佬暴怒，一个Facebook爬虫每天向我的愚蠢网站发出700万个请求

人生(杂谈)  /  管理员 发布于 4年前   1177

国外光头佬暴怒，一个Facebook爬虫每天向我的愚蠢网站发出700万个请求

刚刚在dev.to看到一个国外光头佬发出一则文章感觉有点搞笑，发出来给大家娱乐一下，

顺便发一下牢骚，百度爬虫为什么不来我网站每天爬个700万次

我拥有一个用于进行SEO实验的小网站。

当然，每个帖子都有一些内容和一个Facebook分享按钮。

该网站很小，无法在“单个控制器” PHP应用程序和400kb SQLite数据库上运行，但是可以生成数千个不同的页面。

一切（连同许多其他网站）都托管在廉价的DigitalOcean机器+免费的cloudflare计划上，用于一些缓存。

这些网站之一引起了一些警报，它开始向我发出有关崩溃的警报。

经过一些调查，我发现了问题所在... Facebook爬虫

该爬虫每天向该网站发出超过700万个请求（峰值为300req /秒）。

他们的文档没有帮助阻止机器人。

og:ttl -> ignored

robots.txt -> ignored

HTTP 429 -> ignored

我不得不使用cloudflare规则阻止用户代理。

如果有人在dev.to上从事该爬虫的工作，请不要忽略有关爬虫的基本Internet网络礼节。

下次您可以在AWS上打人。然后他们可能会要求您付款；