go + MongoDB架构中快速高性能的分页方法示例代码

Go  /  管理员 发布于 2年前   859

MongoDB 是基于文档的数据存储，因此分页是它最常见的用例之一。

那么你什么时候对响应进行分页呢？

答案很简洁；每当您想处理结果块时，您都会进行分页。

一些常见的场景：

批量处理
在用户界面上显示大量结果

在客户端和服务器端分页都非常昂贵，不应该考虑。

因此，分页通常在数据库级别处理，并且数据库针对这种需求进行了优化

通过这2种方法，你可以轻松地将你的MongoDB响应分页。

样本文件

 {
        "_id" : ObjectId("6936d17263623919cd5145db"),
        "name" : "Neeraj Kumar",
        "age" : 25
 }

方法一：使用 cursor.skip 和 cursor.limit

MongoDB游标有两种方法可以使分页变得容易；

分别是：

cursor.skip()
cursor.limit()

skip(n)将从游标中跳过n个文档，而limit(n)将限定从游标返回的文档数量。

因此，两者的结合自然会使响应分页。

在Mongo Shell中，你的分页代码如下：

 // Page 1
    db.students.find().limit(10)
    // Page 2
    db.students.find().skip(10).limit(10)
    // Page 3
    db.students.find().skip(10).limit(10)

实现分页demo：

func GetPagination(limit, page int) error {
  ctx, cancel := context.WithTimeout(context.Background(), 12*time.Second)
  defer cancel()
   coll := o.db.Database(mongoDatabaseName).Collection(offerCollectionName)
   l := int64(limit)
     skip := int64(page * limit - limit)
     fOpt := options.FindOptions{Limit: &l, Skip: &skip}
     curr, err := coll.Find(ctx, bson.D{{}}, &fOpt)
   if err != nil {
      return result, err
   }
   for curr.Next(ctx) {
      var el Offer
      if err := curr.Decode(&el); err != nil {
         log.Println(err)
      }
      result = append(result, el)
   }
   return result, nil
}

方法二：使用 _id 和 limit

这种方法将有效利用_id的默认索引和ObjectId的性质。

我打赌你不知道，Mongodb的ObjectId是一个12字节的结构，其中包含了_id。

利用ObjectId的这个属性，同时考虑到_id总是被索引的事实，

我们可以设计出以下的分页方法：

1.从数据库中获取一个页面的文档
2.获取该页最后一个文档的id
3.检索大于该id的文档

Mongo Shell代码如下：

    // Page 1
    db.students.find().limit(10)
    // Page 2
    last_id = ...  # logic to get last_id
    db.students.find({'_id': {'$gt': last_id}}).limit(10)
    // Page 3
    last_id = ... # logic to get last_id
    db.students.find({'_id': {'$gt': last_id}}).limit(10)

实现分页demo：

func GetPagination(limit, page int)  error {
    ctx, cancel := context.WithTimeout(context.Background(), 12*time.Second)
  defer cancel()
   coll := o.db.Database(mongoDatabaseName).Collection(offerCollectionName)
   ctx, _ := context.WithTimeout(context.Background(), contextTimeout)
   curr, err := coll.Find(ctx, bson.D{{}}, newMongoPaginate(limit,page).getPaginatedOpts())
   if err != nil {
      return result, err
   }
   for curr.Next(ctx) {
      var el Offer
      if err := curr.Decode(&el); err != nil {
         log.Println(err)
      }
      result = append(result, el)
   }
   return result, nil
}

暂时分享这两种，如果你有更好的方式可以底部评论留言！