侯体宗的博客
  • 首页
  • Hyperf版
  • beego仿版
  • 人生(杂谈)
  • 技术
  • 关于我
  • 更多分类
    • 文件下载
    • 文字修仙
    • 群聊
    • 九宫格抽奖
    • 拼图
    • 消消乐
    • 相册

国外光头佬暴怒,一个Facebook爬虫每天向我的愚蠢网站发出700万个请求

人生(杂谈)  /  管理员 发布于 2年前   667

国外光头佬暴怒,一个Facebook爬虫每天向我的愚蠢网站发出700万个请求


刚刚在dev.to看到一个国外光头佬发出一则文章感觉有点搞笑,发出来给大家娱乐一下,

顺便发一下牢骚,百度爬虫为什么不来我网站每天爬个700万次


我拥有一个用于进行SEO实验的小网站。

当然,每个帖子都有一些内容和一个Facebook分享按钮。

该网站很小,无法在“单个控制器” PHP应用程序和400kb SQLite数据库上运行,但是可以生成数千个不同的页面。


一切(连同许多其他网站)都托管在廉价的DigitalOcean机器+免费的cloudflare计划上,用于一些缓存。

这些网站之一引起了一些警报,它开始向我发出有关崩溃的警报。


经过一些调查,我发现了问题所在... Facebook爬虫


该爬虫每天向该网站发出超过700万个请求(峰值为300req /秒)。


他们的文档没有帮助阻止机器人。


og:ttl -> ignored

robots.txt -> ignored

HTTP 429 -> ignored


我不得不使用cloudflare规则阻止用户代理。


如果有人在dev.to上从事该爬虫的工作,请不要忽略有关爬虫的基本Internet网络礼节。


下次您可以在AWS上打人。然后他们可能会要求您付款;



  • 上一条:
    Centos7下安装Docker最新版流程步骤命令
    下一条:
    jdk环境安装步骤命令
  • 昵称:

    邮箱:

    0条评论 (评论内容有缓存机制,请悉知!)
    最新最热
    • 分类目录
    • 人生(杂谈)
    • 技术
    • linux
    • Java
    • php
    • 框架(架构)
    • 前端
    • ThinkPHP
    • 数据库
    • 微信(小程序)
    • Laravel
    • Redis
    • Docker
    • Go
    • swoole
    • Windows
    • Python
    • 苹果(mac/ios)
    • 相关文章
    • 来自一位国外前端程序员学习go语言的功能第三部分(0个评论)
    • 2022年6月13日是一个唐山“起飞”的日子,百度热搜爆了(0个评论)
    • 国内提供网络“翻墙”服务相关行为定性及法律适用(0个评论)
    • 国内“翻墙”服务的技术原理(0个评论)
    • 国内“翻墙”问题的背景(0个评论)
    • 近期文章
    • 在laravel框架中使用中间件 + 队列的方式记录请求日志(0个评论)
    • laravel框架常用速查表收集(0个评论)
    • go语言中查找最长不含有重复字符的字符串算法示例代码(0个评论)
    • laravel中where IN多列特殊查询类型代码示例(0个评论)
    • 使用Laravel Airdrop加速您的CI构建(0个评论)
    • go语言中日期时间戳比较功能示例代码(0个评论)
    • 来自一位国外前端程序员学习go语言的功能第三部分(0个评论)
    • Laravel9 Eloquent WHERE Like搜索查询示例代码(0个评论)
    • 在PHP中使用MQTT协议的流程步骤(0个评论)
    • PHP远程代码执行漏洞:mysqlnd拓展中存在堆缓冲区溢出漏洞修复方式建议(0个评论)
    • 近期评论
    • 博主 在

      centos7中Meili Search搜索引擎安装流程步骤中评论 @鹿   执行以下命令看看你的2.27版本是否存在strin..
    • 鹿 在

      centos7中Meili Search搜索引擎安装流程步骤中评论 这是我的错误提示,下载了对应的glibc-2.25.tar.gz后续按照教程操作..
    • 阿凡达123 在

      golang 怎么做热更新中评论 也可以看看这个:https://github.com/edwingeng/hot..
    • 博主 在

      hyperf框架常用命令-在centos7中退出命令及在docker容器中退出命令中评论 @路过的靓仔:cdn静态资源被墙,已修复..
    • GGGGGGGGG 在

      layui框架常用输入框介绍中评论 写的很好解决问题..
    • 2016-10
    • 2016-11
    • 2017-06
    • 2017-08
    • 2020-03
    • 2020-04
    • 2020-06
    • 2020-08
    • 2021-04
    • 2021-05
    • 2021-06
    • 2021-07
    • 2021-08
    • 2021-09
    • 2021-10
    • 2021-11
    • 2021-12
    • 2022-01
    • 2022-02
    • 2022-03
    • 2022-04
    • 2022-05
    • 2022-06
    Top

    Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号 PHP交流群

    侯体宗的博客