0

0

一步完成MySQL向Redis迁移_MySQL

php中文网

php中文网

发布时间:2016-06-01 13:37:00

|

1048人浏览过

|

来源于php中文网

原创

Redis

在把一个大表从 mysql 迁移到 redis 时,你可能会发现,每次提取、转换、导入一条数据是让人难以忍受的慢!这里有一个技巧,你可以通过使用管道把 mysql 的输出直接输入到 redis-cli输入端,这可以使两个数据库都能以他们的最顶级速度来运行。

使用了这个技术,我把 800 万条 MySQL 数据导入到 Redis 的时间从 90 分钟缩短到了两分钟。

Mysql到Redis的数据协议

redis-cli命令行工具有一个批量插入模式,是专门为批量执行命令设计的。这第一步就是把Mysql查询的内容格式化成redis-cli可用的数据格式。here we go!

我的统计表:

  1. CREATE TABLE events_all_time (
  2. id int(11) unsigned NOT NULL AUTO_INCREMENT,
  3. action varchar(255) NOT NULL,
  4. count int(11) NOT NULL DEFAULT 0,
  5. PRIMARY KEY (id),
  6. UNIQUE KEY uniq_action (action)
  7. );

准备在每行数据中执行的redis命令如下:

  1. HSET events_all_time [action] [count]

按照以上redis命令规则,创建一个events_to_redis.sql文件,内容是用来生成redis数据协议格式的SQL:

  1. -- events_to_redis.sql
  2. SELECT CONCAT(
  3. "*4\r\n",
  4. '

ok, 用下面的命令执行:

  1. mysql stats_db --skip-column-names --raw < events_to_redis.sql | redis-cli --pipe

很重要的mysql参数说明:

--raw: 使mysql不转换字段值中的换行符。

--skip-column-names: 使mysql输出的每行中不包含列名。

原文出处:http://www.oschina.net/translate/mysql-to-redis-in-one-step

英文原文:MySQL to Redis in One Step

LALAL.AI
LALAL.AI

AI人声去除器和声乐提取工具

下载
, LENGTH(redis_cmd), '\r\n',
  • redis_cmd, '\r\n',
  • '

    ok, 用下面的命令执行:

    ___FCKpd___3

    很重要的mysql参数说明:

    --raw: 使mysql不转换字段值中的换行符。

    --skip-column-names: 使mysql输出的每行中不包含列名。

    原文出处:http://www.oschina.net/translate/mysql-to-redis-in-one-step

    英文原文:MySQL to Redis in One Step

    , LENGTH(redis_key), '\r\n',
  • redis_key, '\r\n',
  • '

    ok, 用下面的命令执行:

    ___FCKpd___3

    很重要的mysql参数说明:

    --raw: 使mysql不转换字段值中的换行符。

    --skip-column-names: 使mysql输出的每行中不包含列名。

    原文出处:http://www.oschina.net/translate/mysql-to-redis-in-one-step

    英文原文:MySQL to Redis in One Step

    , LENGTH(hkey), '\r\n',
  • hkey, '\r\n',
  • '

    ok, 用下面的命令执行:

    ___FCKpd___3

    很重要的mysql参数说明:

    --raw: 使mysql不转换字段值中的换行符。

    --skip-column-names: 使mysql输出的每行中不包含列名。

    原文出处:http://www.oschina.net/translate/mysql-to-redis-in-one-step

    英文原文:MySQL to Redis in One Step

    , LENGTH(hval), '\r\n',
  • hval, '\r'
  • )
  • FROM (
  • SELECT
  • 'HSET' as redis_cmd,
  • 'events_all_time' AS redis_key,
  • action AS hkey,
  • count AS hval
  • FROM events_all_time
  • ) AS t
  • ok, 用下面的命令执行:

    ___FCKpd___3

    很重要的mysql参数说明:

    --raw: 使mysql不转换字段值中的换行符。

    --skip-column-names: 使mysql输出的每行中不包含列名。

    原文出处:http://www.oschina.net/translate/mysql-to-redis-in-one-step

    英文原文:MySQL to Redis in One Step

    热门AI工具

    更多
    DeepSeek
    DeepSeek

    幻方量化公司旗下的开源大模型平台

    豆包大模型
    豆包大模型

    字节跳动自主研发的一系列大型语言模型

    通义千问
    通义千问

    阿里巴巴推出的全能AI助手

    腾讯元宝
    腾讯元宝

    腾讯混元平台推出的AI助手

    文心一言
    文心一言

    文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

    讯飞写作
    讯飞写作

    基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

    即梦AI
    即梦AI

    一站式AI创作平台,免费AI图片和视频生成。

    ChatGPT
    ChatGPT

    最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

    相关专题

    更多
    C++ 设计模式与软件架构
    C++ 设计模式与软件架构

    本专题深入讲解 C++ 中的常见设计模式与架构优化,包括单例模式、工厂模式、观察者模式、策略模式、命令模式等,结合实际案例展示如何在 C++ 项目中应用这些模式提升代码可维护性与扩展性。通过案例分析,帮助开发者掌握 如何运用设计模式构建高质量的软件架构,提升系统的灵活性与可扩展性。

    14

    2026.01.30

    c++ 字符串格式化
    c++ 字符串格式化

    本专题整合了c++字符串格式化用法、输出技巧、实践等等内容,阅读专题下面的文章了解更多详细内容。

    9

    2026.01.30

    java 字符串格式化
    java 字符串格式化

    本专题整合了java如何进行字符串格式化相关教程、使用解析、方法详解等等内容。阅读专题下面的文章了解更多详细教程。

    12

    2026.01.30

    python 字符串格式化
    python 字符串格式化

    本专题整合了python字符串格式化教程、实践、方法、进阶等等相关内容,阅读专题下面的文章了解更多详细操作。

    4

    2026.01.30

    java入门学习合集
    java入门学习合集

    本专题整合了java入门学习指南、初学者项目实战、入门到精通等等内容,阅读专题下面的文章了解更多详细学习方法。

    20

    2026.01.29

    java配置环境变量教程合集
    java配置环境变量教程合集

    本专题整合了java配置环境变量设置、步骤、安装jdk、避免冲突等等相关内容,阅读专题下面的文章了解更多详细操作。

    18

    2026.01.29

    java成品学习网站推荐大全
    java成品学习网站推荐大全

    本专题整合了java成品网站、在线成品网站源码、源码入口等等相关内容,阅读专题下面的文章了解更多详细推荐内容。

    19

    2026.01.29

    Java字符串处理使用教程合集
    Java字符串处理使用教程合集

    本专题整合了Java字符串截取、处理、使用、实战等等教程内容,阅读专题下面的文章了解详细操作教程。

    3

    2026.01.29

    Java空对象相关教程合集
    Java空对象相关教程合集

    本专题整合了Java空对象相关教程,阅读专题下面的文章了解更多详细内容。

    6

    2026.01.29

    热门下载

    更多
    网站特效
    /
    网站源码
    /
    网站素材
    /
    前端模板

    精品课程

    更多
    相关推荐
    /
    热门推荐
    /
    最新课程
    Java 教程
    Java 教程

    共578课时 | 53.7万人学习

    国外Web开发全栈课程全集
    国外Web开发全栈课程全集

    共12课时 | 1.0万人学习

    PHP自制框架
    PHP自制框架

    共8课时 | 0.6万人学习

    关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
    php中文网:公益在线php培训,帮助PHP学习者快速成长!
    关注服务号 技术交流群
    PHP中文网订阅号
    每天精选资源文章推送

    Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号