皮皮兔王 發表於 2021-3-4 17:21:00

golang操作redis/go-redis库

<p></p><div class="toc"><div class="toc-container-header">目录</div><ul><li>Redis介绍<ul><li>Redis支持的数据结构</li><li>Redis应用场景</li><li>准备Redis环境</li></ul></li><li>go-redis库<ul><li>安装</li><li>连接<ul><li>普通连接</li></ul></li><li>V8新版本相关<ul><li>连接Redis哨兵模式</li><li>连接Redis集群</li></ul></li><li>基本使用<ul><li>HVals</li><li>set/get示例</li><li>zset示例</li><li>根据前缀获取Key</li><li>执行自定义命令</li><li>按通配符删除key</li><li>Pipeline</li><li>事务</li><li>Watch</li></ul></li></ul></li></ul></div><p></p>
<h1 id="redis介绍">Redis介绍</h1>
<p>Redis是一个开源的内存数据库，Redis提供了多种不同类型的数据结构，很多业务场景下的问题都可以很自然地映射到这些数据结构上。除此之外，通过复制、持久化和客户端分片等特性，我们可以很方便地将Redis扩展成一个能够包含数百GB数据、每秒处理上百万次请求的系统。</p>
<h2 id="redis支持的数据结构">Redis支持的数据结构</h2>
<p>Redis支持诸如字符串（strings）、哈希（hashes）、列表（lists）、集合（sets）、带范围查询的排序集合（sorted sets）、位图（bitmaps）、hyperloglogs、带半径查询和流的地理空间索引等数据结构（geospatial indexes）。</p>
<h2 id="redis应用场景">Redis应用场景</h2>
<ul>
<li>缓存系统，减轻主数据库（MySQL）的压力。</li>
<li>计数场景，比如微博、抖音中的关注数和粉丝数。</li>
<li>热门排行榜，需要排序的场景特别适合使用ZSET。</li>
<li>利用LIST可以实现队列的功能。</li>
</ul>
<h2 id="准备redis环境">准备Redis环境</h2>
<p>这里直接使用Docker启动一个redis环境，方便学习使用。</p>
<p>docker启动一个名为redis507的5.0.7版本的redis server示例：</p>
<pre><code class="language-bash">docker run --name redis507 -p 6379:6379 -d redis:5.0.7
</code></pre>
<p><strong>注意：</strong>此处的版本、容器名和端口号请根据自己需要设置。</p>
<p>启动一个redis-cli连接上面的redis server:</p>
<pre><code class="language-bash">docker run -it --network host --rm redis:5.0.7 redis-cli
</code></pre>
<h1 id="go-redis库">go-redis库</h1>
<h2 id="安装">安装</h2>
<p>区别于另一个比较常用的Go语言redis client库：redigo，我们这里采用https://github.com/go-redis/redis连接Redis数据库并进行操作，因为<code>go-redis</code>支持连接哨兵及集群模式的Redis。</p>
<p>使用以下命令下载并安装:</p>
<pre><code class="language-bash">go get -u github.com/go-redis/redis
</code></pre>
<h2 id="连接">连接</h2>
<h3 id="普通连接">普通连接</h3>
<pre><code class="language-go">// 声明一个全局的rdb变量
var rdb *redis.Client

// 初始化连接
func initClient() (err error) {
        rdb = redis.NewClient(&amp;redis.Options{
                Addr:   "localhost:6379",
                Password: "", // no password set
                DB:       0,// use default DB
        })

        _, err = rdb.Ping().Result()
        if err != nil {
                return err
        }
        return nil
}
</code></pre>
<h2 id="v8新版本相关">V8新版本相关</h2>
<p>最新版本的<code>go-redis</code>库的相关命令都需要传递<code>context.Context</code>参数，例如：</p>
<pre><code class="language-go">package main

import (
        "context"
        "fmt"
        "time"

        "github.com/go-redis/redis/v8" // 注意导入的是新版本
)

var (
        rdb *redis.Client
)

// 初始化连接
func initClient() (err error) {
        rdb = redis.NewClient(&amp;redis.Options{
                Addr:   "localhost:16379",
                Password: "",// no password set
                DB:       0,   // use default DB
                PoolSize: 100, // 连接池大小
        })

        ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
        defer cancel()

        _, err = rdb.Ping(ctx).Result()
        return err
}

func V8Example() {
        ctx := context.Background()
        if err := initClient(); err != nil {
                return
        }

        err := rdb.Set(ctx, "key", "value", 0).Err()
        if err != nil {
                panic(err)
        }

        val, err := rdb.Get(ctx, "key").Result()
        if err != nil {
                panic(err)
        }
        fmt.Println("key", val)

        val2, err := rdb.Get(ctx, "key2").Result()
        if err == redis.Nil {
                fmt.Println("key2 does not exist")
        } else if err != nil {
                panic(err)
        } else {
                fmt.Println("key2", val2)
        }
        // Output: key value
        // key2 does not exist
}
</code></pre>
<h3 id="连接redis哨兵模式">连接Redis哨兵模式</h3>
<pre><code class="language-go">func initClient()(err error){
        rdb := redis.NewFailoverClient(&amp;redis.FailoverOptions{
                MasterName:    "master",
                SentinelAddrs: []string{"x.x.x.x:26379", "xx.xx.xx.xx:26379", "xxx.xxx.xxx.xxx:26379"},
        })
        _, err = rdb.Ping().Result()
        if err != nil {
                return err
        }
        return nil
}
</code></pre>
<h3 id="连接redis集群">连接Redis集群</h3>
<pre><code class="language-go">func initClient()(err error){
        rdb := redis.NewClusterClient(&amp;redis.ClusterOptions{
                Addrs: []string{":7000", ":7001", ":7002", ":7003", ":7004", ":7005"},
        })
        _, err = rdb.Ping().Result()
        if err != nil {
                return err
        }
        return nil
}
</code></pre>
<h2 id="基本使用">基本使用</h2>
<h3 id="hvals">HVals</h3>
<pre><code class="language-go">package main

import (
        "fmt"
        "github.com/go-redis/redis"
        "reflect"
)


var rdb *redis.Client

// 初始化连接
func initClient() (err error) {
        rdb = redis.NewClient(&amp;redis.Options{
                Addr:   "10.0.3.100:6379",
                Password: "EfcHGSzKqg6cfzWq", // no password set
                DB:       8,// use default DB
        })

        _, err = rdb.Ping().Result()
        if err != nil {
                return err
        }
        return nil
}


func main() {

        err:=initClient()
        if err != nil {
                fmt.Println(err)
        }

        value,err2 := rdb.HVals("toutiao_web_gt100").Result()
        if err2 != nil {
                fmt.Println(err2)
        }
        fmt.Println(reflect.TypeOf(value))
        fmt.Println(len(value))
        for i,j:=0,len(value);i&lt;j;i++{
                fmt.Println(value)
        }
}

</code></pre>
<h3 id="setget示例">set/get示例</h3>
<pre><code class="language-go">func redisExample() {
        err := rdb.Set("score", 100, 0).Err()
        if err != nil {
                fmt.Printf("set score failed, err:%v\n", err)
                return
        }

        val, err := rdb.Get("score").Result()
        if err != nil {
                fmt.Printf("get score failed, err:%v\n", err)
                return
        }
        fmt.Println("score", val)

        val2, err := rdb.Get("name").Result()
        if err == redis.Nil {
                fmt.Println("name does not exist")
        } else if err != nil {
                fmt.Printf("get name failed, err:%v\n", err)
                return
        } else {
                fmt.Println("name", val2)
        }
}
</code></pre>
<h3 id="zset示例">zset示例</h3>
<pre><code class="language-go">func redisExample2() {
        zsetKey := "language_rank"
        languages := []redis.Z{
                redis.Z{Score: 90.0, Member: "Golang"},
                redis.Z{Score: 98.0, Member: "Java"},
                redis.Z{Score: 95.0, Member: "Python"},
                redis.Z{Score: 97.0, Member: "JavaScript"},
                redis.Z{Score: 99.0, Member: "C/C++"},
        }
        // ZADD
        num, err := rdb.ZAdd(zsetKey, languages...).Result()
        if err != nil {
                fmt.Printf("zadd failed, err:%v\n", err)
                return
        }
        fmt.Printf("zadd %d succ.\n", num)

        // 把Golang的分数加10
        newScore, err := rdb.ZIncrBy(zsetKey, 10.0, "Golang").Result()
        if err != nil {
                fmt.Printf("zincrby failed, err:%v\n", err)
                return
        }
        fmt.Printf("Golang's score is %f now.\n", newScore)

        // 取分数最高的3个
        ret, err := rdb.ZRevRangeWithScores(zsetKey, 0, 2).Result()
        if err != nil {
                fmt.Printf("zrevrange failed, err:%v\n", err)
                return
        }
        for _, z := range ret {
                fmt.Println(z.Member, z.Score)
        }

        // 取95~100分的
        op := redis.ZRangeBy{
                Min: "95",
                Max: "100",
        }
        ret, err = rdb.ZRangeByScoreWithScores(zsetKey, op).Result()
        if err != nil {
                fmt.Printf("zrangebyscore failed, err:%v\n", err)
                return
        }
        for _, z := range ret {
                fmt.Println(z.Member, z.Score)
        }
}
</code></pre>
<p>输出结果如下：</p>
<pre><code class="language-bash">$ ./06redis_demo
zadd 0 succ.
Golang's score is 100.000000 now.
Golang 100
C/C++ 99
Java 98
JavaScript 97
Java 98
C/C++ 99
Golang 100
</code></pre>
<h3 id="根据前缀获取key">根据前缀获取Key</h3>
<pre><code class="language-go">vals, err := rdb.Keys(ctx, "prefix*").Result()
</code></pre>
<h3 id="执行自定义命令">执行自定义命令</h3>
<pre><code class="language-go">res, err := rdb.Do(ctx, "set", "key", "value").Result()
</code></pre>
<h3 id="按通配符删除key">按通配符删除key</h3>
<p>当通配符匹配的key的数量不多时，可以使用<code>Keys()</code>得到所有的key在使用<code>Del</code>命令删除。 如果key的数量非常多的时候，我们可以搭配使用<code>Scan</code>命令和<code>Del</code>命令完成删除。</p>
<pre><code class="language-go">ctx := context.Background()
iter := rdb.Scan(ctx, 0, "prefix*", 0).Iterator()
for iter.Next(ctx) {
        err := rdb.Del(ctx, iter.Val()).Err()
        if err != nil {
                panic(err)
        }
}
if err := iter.Err(); err != nil {
        panic(err)
}
</code></pre>
<h3 id="pipeline">Pipeline</h3>
<p><code>Pipeline</code> 主要是一种网络优化。它本质上意味着客户端缓冲一堆命令并一次性将它们发送到服务器。这些命令不能保证在事务中执行。这样做的好处是节省了每个命令的网络往返时间（RTT）。</p>
<p><code>Pipeline</code> 基本示例如下：</p>
<pre><code class="language-go">pipe := rdb.Pipeline()

incr := pipe.Incr("pipeline_counter")
pipe.Expire("pipeline_counter", time.Hour)

_, err := pipe.Exec()
fmt.Println(incr.Val(), err)
</code></pre>
<p>上面的代码相当于将以下两个命令一次发给redis server端执行，与不使用<code>Pipeline</code>相比能减少一次RTT。</p>
<pre><code class="language-bash">INCR pipeline_counter
EXPIRE pipeline_counts 3600
</code></pre>
<p>也可以使用<code>Pipelined</code>：</p>
<pre><code class="language-go">var incr *redis.IntCmd
_, err := rdb.Pipelined(func(pipe redis.Pipeliner) error {
        incr = pipe.Incr("pipelined_counter")
        pipe.Expire("pipelined_counter", time.Hour)
        return nil
})
fmt.Println(incr.Val(), err)
</code></pre>
<p>在某些场景下，当我们有多条命令要执行时，就可以考虑使用pipeline来优化。</p>
<h3 id="事务">事务</h3>
<p>Redis是单线程的，因此单个命令始终是原子的，但是来自不同客户端的两个给定命令可以依次执行，例如在它们之间交替执行。但是，<code>Multi/exec</code>能够确保在<code>multi/exec</code>两个语句之间的命令之间没有其他客户端正在执行命令。</p>
<p>在这种场景我们需要使用<code>TxPipeline</code>。<code>TxPipeline</code>总体上类似于上面的<code>Pipeline</code>，但是它内部会使用<code>MULTI/EXEC</code>包裹排队的命令。例如：</p>
<pre><code class="language-go">pipe := rdb.TxPipeline()

incr := pipe.Incr("tx_pipeline_counter")
pipe.Expire("tx_pipeline_counter", time.Hour)

_, err := pipe.Exec()
fmt.Println(incr.Val(), err)
</code></pre>
<p>上面代码相当于在一个RTT下执行了下面的redis命令：</p>
<pre><code class="language-bash">MULTI
INCR pipeline_counter
EXPIRE pipeline_counts 3600
EXEC
</code></pre>
<p>还有一个与上文类似的<code>TxPipelined</code>方法，使用方法如下：</p>
<pre><code class="language-go">var incr *redis.IntCmd
_, err := rdb.TxPipelined(func(pipe redis.Pipeliner) error {
        incr = pipe.Incr("tx_pipelined_counter")
        pipe.Expire("tx_pipelined_counter", time.Hour)
        return nil
})
fmt.Println(incr.Val(), err)
</code></pre>
<h3 id="watch">Watch</h3>
<p>在某些场景下，我们除了要使用<code>MULTI/EXEC</code>命令外，还需要配合使用<code>WATCH</code>命令。在用户使用<code>WATCH</code>命令监视某个键之后，直到该用户执行<code>EXEC</code>命令的这段时间里，如果有其他用户抢先对被监视的键进行了替换、更新、删除等操作，那么当用户尝试执行<code>EXEC</code>的时候，事务将失败并返回一个错误，用户可以根据这个错误选择重试事务或者放弃事务。</p>
<pre><code class="language-go">Watch(fn func(*Tx) error, keys ...string) error
</code></pre>
<p>Watch方法接收一个函数和一个或多个key作为参数。基本使用示例如下：</p>
<pre><code class="language-go">// 监视watch_count的值，并在值不变的前提下将其值+1
key := "watch_count"
err = client.Watch(func(tx *redis.Tx) error {
        n, err := tx.Get(key).Int()
        if err != nil &amp;&amp; err != redis.Nil {
                return err
        }
        _, err = tx.Pipelined(func(pipe redis.Pipeliner) error {
                pipe.Set(key, n+1, 0)
                return nil
        })
        return err
}, key)
</code></pre>
<p>最后看一个V8版本官方文档中使用GET和SET命令以事务方式递增Key的值的示例，仅当Key的值不发生变化时提交一个事务。</p>
<pre><code class="language-go">func transactionDemo() {
        var (
                maxRetries   = 1000
                routineCount = 10
        )
        ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
        defer cancel()

        // Increment 使用GET和SET命令以事务方式递增Key的值
        increment := func(key string) error {
                // 事务函数
                txf := func(tx *redis.Tx) error {
                        // 获得key的当前值或零值
                        n, err := tx.Get(ctx, key).Int()
                        if err != nil &amp;&amp; err != redis.Nil {
                                return err
                        }

                        // 实际的操作代码（乐观锁定中的本地操作）
                        n++

                        // 操作仅在 Watch 的 Key 没发生变化的情况下提交
                        _, err = tx.TxPipelined(ctx, func(pipe redis.Pipeliner) error {
                                pipe.Set(ctx, key, n, 0)
                                return nil
                        })
                        return err
                }

                // 最多重试 maxRetries 次
                for i := 0; i &lt; maxRetries; i++ {
                        err := rdb.Watch(ctx, txf, key)
                        if err == nil {
                                // 成功
                                return nil
                        }
                        if err == redis.TxFailedErr {
                                // 乐观锁丢失 重试
                                continue
                        }
                        // 返回其他的错误
                        return err
                }

                return errors.New("increment reached maximum number of retries")
        }

        // 模拟 routineCount 个并发同时去修改 counter3 的值
        var wg sync.WaitGroup
        wg.Add(routineCount)
        for i := 0; i &lt; routineCount; i++ {
                go func() {
                        defer wg.Done()
                        if err := increment("counter3"); err != nil {
                                fmt.Println("increment error:", err)
                        }
                }()
        }
        wg.Wait()

        n, err := rdb.Get(context.TODO(), "counter3").Int()
        fmt.Println("ended with", n, err)
}
</code></pre>


</div>
<div id="MySignature" role="contentinfo">
    选择了IT，必定终身学习<br><br>
来源：https://www.cnblogs.com/guyouyin123/p/14481650.html
頁: [1]
查看完整版本: golang操作redis/go-redis库