在go语言中实现一个函数来检查用户代理是否是机器人或爬虫的示例

Go  /  管理员 发布于 3个月前   145

在go语言中如何创建一个通用函数来检测一个用户代理是否是机器人？

你需要确定访问你的网络服务器的用户代理是否是一个机器人/机器人/爬虫。

你已经尝试了哈希图的解决方案，但发现如果机器人的版本字符串发生变化，它很容易被破坏。

解决方案：

我从CodeIgniter移植了这个解决方案供自己使用。

你可以根据自己的需要自由调整。

代码示例：

  package main
  
  import (
      "fmt"
      "net/http"
      "strings"
  )
  
  func is_robot(useragent string) bool {
      // 有数以百计的机器人，但这些是最常见的。
      // 你可以在以下网址看到其他的机器人名单
      // http://www.botsvsbrowsers.com/category/1/index.html
      // 下面的列表取自
      // https://github.com/bcit-ci/CodeIgniter/blob/develop/system/libraries/User_agent.php
      // 哈希地图/表格方法需要与用户代理字符串完全匹配，如果版本号改变，很容易被破坏。
      // 如果版本号发生变化的话。因此，最好是根据一个切片/字典来检查用户代理。
      
      robots := []string{"Googlebot", "Google Page Speed Insights", "MSNBot", "Baiduspider", "Bing", "DuckDuckBot", "Inktomi Slurp", "Yahoo", "Ask Jeeves", "FastCrawler", "YandexBot", "MediaPartners Google", "Crazy Webcrawler", "AdsBot Google", "Feedfetcher Google", "Curious George", "facebookexternalhit"}
      
      for _, bot := range robots {
          if strings.Index(useragent, bot) > -1 {
              return true
          }
      }
      return false
  }
  
  func checkIfUserAgentIsRobot(w http.ResponseWriter, r *http.Request) {
      ua := r.Header.Get("User-Agent")
      fmt.Printf("用户代理是： %s \n", ua)
      
      w.Write([]byte("用户代理是 " + ua + "\n"))
      result := "no"
      
      if is_robot(ua) {
          result = "yes"
      }
      
      fmt.Printf("用户代理是一个机器人: %v \n", is_robot(ua))
      w.Write([]byte("用户代理是一个机器人:" + result + "\n"))
  }
  
  func main() {
      http.HandleFunc("/", checkIfUserAgentIsRobot)
      http.ListenAndServe(":8080", nil)
  }

输出：

用Chrome浏览器浏览页面

用户代理是： Mozilla/5.0 (Macintosh; Intel Mac OS X 1085) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36
用户代理是一个机器人: false
用户代理是 Mozilla/5.0 (Macintosh; Intel Mac OS X 1085) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36
用户代理是一个机器人: false

用Google Page Speed Insights机器人浏览页面

用户代理是 Mozilla/5.0 (iPhone; CPU iPhone OS 8_3 like Mac OS X) AppleWebKit/537.36 (KHTML, like Gecko; Google Page Speed Insights) 版本8.0 Mobile/12F70 Safari/600.1.4
用户代理是一个机器人: true
用户代理是 Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; Google Page Speed Insights) Chrome/27.0.1453 Safari/537.36
用户代理是一个机器人: true