在使用 redis 的列表类型作为消息队列时，高并发场景下可能出现写入数据丢失的情况。本文将分析出现这种问题的原因并提出优化方法。
问题根源
根据问题描述，当并发线程数达到 10000 时，写入 redis 的数据出现丢失。这是因为 redis 在处理高并发写入请求时，可能会出现连接耗尽等问题。当连接不可用时，写入操作会被丢弃。
优化方法
为了优化 redis 的高并发写入性能，可以采取以下措施：
- 使用连接池：连接池可以管理大量连接，避免了在每次写入时建立新的连接。
- 设置合理超时时间：为写入操作设置适当的超时时间，以避免因连接超时而丢失数据。
- 考虑使用 redis 集群：redis 集群可以将数据分布在多个节点上，提高并发写入能力。
- 控制写入频率：限制每秒写入 redis 的数据量，以避免连接过载。
替代方案
问题中提到不考虑使用 mq，以下是使用 mq 的替代方案：
- kafka：kafka 是一个分布式流处理平台，可以处理大吞吐量的消息。
- rabbitmq：rabbitmq 是一个消息队列系统，具有灵活性和可靠性。
- activemq：activemq 是一个开源消息中间件，支持多种通信协议。
代码示例
使用连接池优化 go 代码：
import (
"context"
"github.com/go-redis/redis/v8"
)
// RedisClientWithPool 返回一个带有连接池的 Redis 客户端
func RedisClientWithPool() *redis.Client {
client := redis.NewClient(&redis.Options{
Addr: "localhost:6379",
PoolSize: 10, // 设置连接池大小为 10
})
return client
}
func main() {
client := RedisClientWithPool()
ctx := context.Background()
// 使用连接池写入数据
if err := client.LPush(ctx, "testttt", "_api", "1").Err(); err != nil {
log.Fatal(err)
}
} 
