国外光头佬暴怒,一个Facebook爬虫每天向我的愚蠢网站发出700万个请求
人生(杂谈)  /  管理员 发布于 2年前   890
国外光头佬暴怒,一个Facebook爬虫每天向我的愚蠢网站发出700万个请求
刚刚在dev.to看到一个国外光头佬发出一则文章感觉有点搞笑,发出来给大家娱乐一下,
顺便发一下牢骚,百度爬虫为什么不来我网站每天爬个700万次
我拥有一个用于进行SEO实验的小网站。
当然,每个帖子都有一些内容和一个Facebook分享按钮。
该网站很小,无法在“单个控制器” PHP应用程序和400kb SQLite数据库上运行,但是可以生成数千个不同的页面。
一切(连同许多其他网站)都托管在廉价的DigitalOcean机器+免费的cloudflare计划上,用于一些缓存。
这些网站之一引起了一些警报,它开始向我发出有关崩溃的警报。
经过一些调查,我发现了问题所在... Facebook爬虫
该爬虫每天向该网站发出超过700万个请求(峰值为300req /秒)。
他们的文档没有帮助阻止机器人。
og:ttl -> ignored
robots.txt -> ignored
HTTP 429 -> ignored
我不得不使用cloudflare规则阻止用户代理。
如果有人在dev.to上从事该爬虫的工作,请不要忽略有关爬虫的基本Internet网络礼节。
下次您可以在AWS上打人。然后他们可能会要求您付款;
博主 在
2023年国务院办公厅春节放假通知:1月21日起休7天中评论 @ xiaoB 你只管努力,剩下的叫给天意;天若有情天亦老,..xiaoB 在
2023年国务院办公厅春节放假通知:1月21日起休7天中评论 会不会春节放假后又阳一次?..BUG4 在
你翻墙过吗?国内使用vpn翻墙可能会被网警抓,你需了解的事中评论 不是吧?..博主 在
go语言+beego框架中获取get,post请求的所有参数中评论 @ t1 直接在router.go文件中配就ok..Jade 在
如何在MySQL查询中获得当月记录中评论 Dear zongscan.com team, We can skyroc..
Copyright·© 2019 侯体宗版权所有·
粤ICP备20027696号