侯体宗的博客
  • 首页
  • Hyperf版
  • beego仿版
  • 人生(杂谈)
  • 技术
  • 关于我
  • 更多分类
    • 文件下载
    • 文字修仙
    • 群聊
    • 九宫格抽奖
    • 拼图
    • 消消乐
    • 相册

Go爬虫之正则爬取网银数据功能,测试案例爬取豆瓣Top250

Go  /  管理员 发布于 7个月前   134

go语言实现爬虫,并以爬虫爬取豆瓣top250列表页为例子,

有兴趣的同学可以借鉴帮助学习,所以记录之


直接分享代码:


package main
import (
    "fmt"
    "io"
    "net/http"
    "os"
    "regexp"
    "strconv"
)
func savToFile(index int, filmName, filmScore [][]string) {
    f, err := os.Create("第" + strconv.Itoa(index) + "页.txt")
    if err != nil {
        fmt.Println("os create err", err)
        return
    }
    defer f.Close()
    // 查出有多少条
    n := len(filmName)
    // 先写抬头 名称     评分
    f.WriteString("电影名称" + "\t\t\t" + "评分" + "\n")
    for i := 0; i < n; i++ {
        f.WriteString(filmName[i][1] + "\t\t\t" + filmScore[i][1] + "\n")
    }
}
func main() {
    var start, end int
    fmt.Print("请输入要爬取的起始页")
    fmt.Scan(&start)
    fmt.Print("请输入要爬取的终止页")
    fmt.Scan(&end)
    working(start, end)
}
func working(start int, end int) {
    fmt.Printf("正在爬取%d到%d页", start, end)
    for i := start; i <= end; i++ {
        SpiderPage(i)
    }
}
// 爬取一个豆瓣页面数据信息保存到文档
func SpiderPage(index int) {
    // 获取url
    url := "https://movie.douban.com/top250?start=" + strconv.Itoa((index-1)*25) + "&filter="
    // 爬取url对应页面
    result, err := HttpGet(url)
    if err != nil {
        fmt.Println("httpget err", err)
        return
    }
    //fmt.Println("result=", result)
    // 解析,编译正则表达式  ---电影名称
    ret := regexp.MustCompile(`<img width="100" alt="(?s:(.*?))"`)
    filmName := ret.FindAllStringSubmatch(result, -1)
    for _, name := range filmName {
        fmt.Println("name", name[1])
    }
    ret2 := regexp.MustCompile(`<span class="rating_num" property="v:average">(?s:(.*?))<`)
    filmScore := ret2.FindAllStringSubmatch(result, -1)
    for _, score := range filmScore {
        fmt.Println("score", score[1])
    }
    savToFile(index, filmName, filmScore)
}
// 爬取指定url页面,返回result
func HttpGet(url string) (result string, err error) {
    req, _ := http.NewRequest("GET", url, nil)
    // 设置头部信息
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36 OPR/66.0.3515.115")
    resp, err1 := (&http.Client{}).Do(req)
    //resp, err1 := http.Get(url)  //此方法已经被豆瓣视为爬虫,返回状态吗为418,所以必须伪装头部用上述办法
    if err1 != nil {
        err = err1
        return
    }
    defer resp.Body.Close()
    buf := make([]byte, 4096)
    //循环爬取整页数据
    for {
        n, err2 := resp.Body.Read(buf)
        if n == 0 {
            break
        }
        if err2 != nil && err2 != io.EOF {
            err = err2
            return
        }
        result += string(buf[:n])
    }
    return
}



  • 上一条:
    Laravel5.5+框架中使用GitHub API实现GitHub存储文件功能
    下一条:
    Objective-C的NULL、nil、Nil、NSNull
  • 昵称:

    邮箱:

    0条评论 (评论内容有缓存机制,请悉知!)
    最新最热
    • 分类目录
    • 人生(杂谈)
    • 技术
    • linux
    • Java
    • php
    • 框架(架构)
    • 前端
    • ThinkPHP
    • 数据库
    • 微信(小程序)
    • Laravel
    • Redis
    • Docker
    • Go
    • swoole
    • Windows
    • Python
    • 苹果(mac/ios)
    • 相关文章
    • go语言中Pat多路复用器路由功能示例代码(0个评论)
    • go语言中HttpRouter多路复用器路由功能示例代码(0个评论)
    • go语言中回收make()占用的内存代码示例(0个评论)
    • go语言中什么时候使用make或者new(0个评论)
    • go语言实现招商银行支付签名验证功能流程步骤(0个评论)
    • 近期文章
    • Laravel 9.24版本发布(0个评论)
    • windows系统phpstudy环境中安装amqp拓展流程步骤(0个评论)
    • windows10+docker desktop使用docker compose编排多容器构建dnmp环境(0个评论)
    • windows10+docker desktop运行laravel项目报错:could not find driver...(0个评论)
    • windows10+docker desktop报错:docker: Error response from daemon: user declined directory sharing(0个评论)
    • go语言中Pat多路复用器路由功能示例代码(0个评论)
    • go语言中HttpRouter多路复用器路由功能示例代码(0个评论)
    • js中使用Push.js通知库将通知推送到浏览器(0个评论)
    • Laravel collect集合中获取二维数组中键值功能示例代码(0个评论)
    • 10分钟设置免费远程桌面(0个评论)
    • 近期评论
    • nkt 在

      阿里云香港服务器搭建自用vpn:Shadowsocks使用流程步骤中评论 用了三分钟就被禁了,直接阿里云服务器22端口都禁了..
    • 熊丽 在

      安装docker + locust + boomer压测环境实现对接口的压测中评论 试试水..
    • 博主 在

      阿里云香港服务器搭建自用vpn:Shadowsocks使用流程步骤中评论 @test  也可能是国内大环境所至,也是好事,督促你该研究学习新技术..
    • test 在

      阿里云香港服务器搭建自用vpn:Shadowsocks使用流程步骤中评论 打了一次网页,然后再也打不开了。。是阿里云的缘故吗?..
    • 博主 在

      centos7中Meili Search搜索引擎安装流程步骤中评论 @鹿   执行以下命令看看你的2.27版本是否存在strin..
    • 2016-10
    • 2017-09
    • 2020-03
    • 2020-05
    • 2020-06
    • 2020-07
    • 2020-12
    • 2021-01
    • 2021-05
    • 2021-06
    • 2021-07
    • 2021-08
    • 2021-10
    • 2021-11
    • 2021-12
    • 2022-01
    • 2022-02
    • 2022-03
    • 2022-04
    • 2022-05
    • 2022-06
    • 2022-07
    • 2022-08
    Top

    Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号 PHP交流群

    侯体宗的博客