对MySQL的用户而言,备受诟病的一个问题就是导入SQL备份文件时不能并发,使得导入的效率很低。
今天,我们就来改变下思路,尝试一下并发导入的方法,供大家参考。
1、问题分析
想要实现并发导入,其实没那么难,最简单的思路就是:将完整的文件切分成多份,然后并发导入即可。
在这里,我自己的做法是这样的:
1) 首先,假设只有一个库;多个库的情况也是类似,无非就是循环 2) 计算SQL文件总行数 3) 计算SQL文件总大小 4) 设定每个切分文件最大尺寸 5) 初始化表结构
经历过的优化案例中,最经常碰到的就是索引的问题,要么没加索引,要么没用合适的索引,相信这也是做开发的朋友最经常碰到的盲区了,很容易就给忽略了。最近一次碰到的案例中,由于存储过程中需要创建临时表,把数据插入到临时表中,然后再做对比,开发人员认为是临时表没必要加索引,执行时间大概花了1个小时,加上索引后,不到2分钟就运行完了,至少30:1的效果啊,血淋淋的现实啊 :)
很早以前写过一个文章,是关于discuz论坛的优化:MySQL优化 之 Discuz论坛优化。写的时候是2006年,没想到过了这么久,discuz论坛的问题还是困扰着很多网友,其实从各论坛里看到的问题总结出来,很关键的一点都是因为没有将数据表引擎转成InnoDB导致的,discuz在并发稍微高一点的环境下就表现的非常糟糕,产生大量的锁等待,这时候如果把数据表引擎改成InnoDB的话,我相信会好很多。这次就写个扫盲贴吧。
1. 启用innodb引擎,并配置相关参数
MySQL 5.1中增加了分区(partition)功能,有了这个功能,以前很头疼的分表方案,现在就变得不再那么麻烦了。不过,如果采用了MyISAM引擎,而且在数据量较大的情境下,并发读写仍然是个问题,尤其是对索引的更新。为此,可以在分区表中采用MyISAM和InnoDB引擎混用的方法,大致如下:
本文主要探讨 mysqldump 的几种主要工作方式,并且比较一下和 mk-parralel-dump 的一些差异,为备份方式的选择提供更多的帮助。
首先来看下 mysqldump 的几个主要参数的实际工作方式。
参考文章:Making MySQL more usable: InnoDB save/restore buffer pool patch。
Jeremy Cole同学写了个补丁,用于将InnoDB 缓冲池(buffer pool)里的列表在关闭mysqld时保存到本地文件中,重启启动时再加载到内存中去。该补丁目前只适用于MySQL 5.1版本。作者计划该补丁至少应具备以下几点要求:
原文出自:The new cool MySQL patch has landed! Check your queries performance!,本文做只部分翻译。
MySQL微秒慢查询(microtime slow query)补丁包具有以下特色:
每个慢查询结果中都记录了是哪个连接线程引起的,如下:
# Thread_id: 571
最近评论
11 小时 20 分钟 前
11 小时 22 分钟 前
3 天 14 小时 前
3 天 16 小时 前
4 天 15 小时 前
6 天 14 小时 前
1 周 7 小时 前