在go语言gin框架中使用Sharding（Gorm分表中间件）实现分表流程步骤

Go  /  管理员 发布于 1年前   1235

在go语言中及gin框架本身并没有类似于laravel比较方便的配置，在实际开发中分表又不可或缺，那么要如何实现分表和读写分离呢？那么本文来介绍一款高性能的Gorm分表中间件：Sharding

Sharding 是一个高性能的 Gorm 分表中间件。

它基于 Conn 层做 SQL 拦截、AST 解析、分表路由、自增主键填充，带来的额外开销极小。

对开发者友好、透明，使用上与普通 SQL、Gorm 查询无差别，只需要额外注意一下分表键条件。 

为您提供高性能的数据库访问。

git：

https://github.com/go-gorm/sharding

功能特点

非侵入式设计， 加载插件，指定配置，既可实现分表。

轻快， 非基于网络层的中间件，像 Go 一样快

支持多种数据库。 PostgreSQL 已通过测试，MySQL 和 SQLite 也在路上。

多种主键生成方式支持（Snowflake, PostgreSQL Sequence, 以及自定义支持）Snowflake 支持从主键中确定分表键。

官方文档：

https://gorm.io/zh_CN/docs/sharding.html

分表示例

通过查看文档可知，以 mysql 为例，在数据库中新建 10 个表配置文件中加入：

dsn := "root:123456@tcp(127.0.0.1:3306)/test?charset=utf8mb4&parseTime=True&loc=Local"
    db, err := gorm.Open(mysql.Open(dsn), &gorm.Config{})
    if err != nil {
        fmt.Printf("mysql connect error %v", err)
    }
    if db.Error != nil {
        fmt.Printf("database error %v", Db.Error)
    }
    // 配置回答问题表的分表策略
    db.Use(sharding.Register(sharding.Config{
        ShardingKey:         "user_id", // 进行分割的字段
        NumberOfShards:      10, // 需要分表的个数
        PrimaryKeyGenerator: sharding.PKSnowflake, // 主键算法
        },
    }, "orders"))

插入数据：

// GORM 创建示例，这会插入到 orders_02 表
db.Create(&Order{UserID: 2})

问题：

插入数据是成功的，但是此时会发现，id 并没有按照数据表自增进行，通过查看 sharding 的 primary_key.go 源代码发现这个：

const (
    // Use Snowflake primary key generator
    PKSnowflake = iota // 使用雪花算法主键生成器
    // Use PostgreSQL sequence primary key generator
    PKPGSequence // 使用PostgreSQL序列主键生成器
    // Use custom primary key generator
    PKCustom // 用户自定义主键生成
)

通过上述配置的分析，雪花算法、PostgreSQL 明显是不符合要求的，

直接使用自定义主键生成会提示插入报错，主键不存在，那么要如何进行分表的配置修改呢？

通过查看 sharding.go 的源代码中配置的结构体可以看到如下选项：

// PrimaryKeyGeneratorFn specifies a function to generate the primary key.
    // When use auto-increment like generator, the tableIdx argument could ignored.
    // For example, this function use the Snowflake library to generate the primary key.
    // If you don't want to auto-fill the `id` or use a primary key that isn't called `id`, just return 0.
    //
    //     func(tableIdx int64) int64 {
    //        return nodes[tableIdx].Generate().Int64()
    //    }
    PrimaryKeyGeneratorFn func(tableIdx int64) int64

大概的意思就是：PrimaryKeyGeneratorFn 指定一个函数来生成主键。

当使用类似生成器的自动递增时，tableIdx 参数可以被忽略。例如，此函数使用 Snowflake 库来生成主键。

如果您不想自动填充 “id” 或使用不叫 “id” 的主键，只需返回 0。

因此，分表的配置信息可以改为：

...
// 配置回答问题表的分表策略
db.Use(sharding.Register(sharding.Config{
   ShardingKey:         "user_id",
  NumberOfShards:      10,
  PrimaryKeyGenerator: sharding.PKCustom,
  PrimaryKeyGeneratorFn: func(tableIdx int64) int64{
      return 0
  },
}, "orders"))
...
// 不管是单条信息插入还是批量插入数据后，可以看到id是按照mysql默认自增进行排序的。