欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Mysql数据库表定期备份的实现详解

程序员文章站 2023-12-01 22:07:16
mysql数据库表定期备份的实现 0.背景 实际开发环境中,前端程序需要在给定时间段内,将数据更新/插入到mysql指定的库表中。随着数据量的增多,基础库表基数的增长,...

mysql数据库表定期备份的实现

0.背景

实际开发环境中,前端程序需要在给定时间段内,将数据更新/插入到mysql指定的库表中。随着数据量的增多,基础库表基数的增长,每更新一次都会有5s左右的卡顿。

改进方案一:批量更新,累计数10条或者100条进行一次更新入库操作;

改进方案二:将当前日期前1个月之前的数据进行备份操作,并删除当前库表中1个月前的数据。经测定,该方法一定程度提高了访问效率。根因:基础表基数少,查询效率相对提高。

1.库表的定时备份总结

步骤1:备份mysql指定数据库中的制定库表。

使用 mysqldump,设定周期30天。

步骤2:对于日期60天前的已备份的文件及压缩包做删除处理。

步骤3:删除库表中在当前日期前30天的数据。(步骤1已经做了备份)。

步骤4:设定定时。

crontab设定。

[root@mysql_bak]# cat mysql_bak.sh
#!/bin/sh
#database info
db_name="ppdb"
db_user="root"
db_pass="password"
dispose_table="dispose_ticles"
rst_table="match_rst"
db_ip=100.55.1.129

bin_dir="/usr/bin"
bak_dir="/home/mysql_bak/data"
date=`date +%y%m%d_%h%m%s`

#mkdir -p $bak_dir
#备份包 形成压缩包
$bin_dir/mysqldump $db_name $dispose_table > $bak_dir/$dispose_table.dump_$date.sql
$bin_dir/mysqldump $db_name $dispose_table | gzip > $bak_dir/$dispose_table.dump_$date.sql.gz

$bin_dir/mysqldump $db_name $rst_table > $bak_dir/$rst_table.dump_$date.sql
$bin_dir/mysqldump $db_name $rst_table | gzip > $bak_dir/$rst_table.dump_$date.sql.gz

#定期删除60天的备份包
find $bak_dir -name "name_*.sql.gz" -type f -mtime +60 -exec rm {} \; > /dev/null 2>&1

#30天前的指定库表数据删除操作 (当前时间减去30天)
delete_date=`date --date='30 day ago' +%y-%m-%d`
echo "delete_date=$delete_date"

#删除rst表信息
rst_sql="delete from $rst_table where update_time <= $delete_date order by update_time;";

echo "rst_sql=$rst_sql"
#ret=$(mysql -u $db_user -h ${db_ip} -p${db_pass} $db_name -e "$sql");
ret=$(mysql -h${db_ip} $db_name -e "$rst_sql");
echo $ret

#删除dispose表信息
dispose_sql="delete from $dispose_table where judge_time <= $delete_date order by judge_time;";
echo "dispose_sql=$dispose_sql"
ret=$(mysql -h${db_ip} $db_name -e "$dispose_sql");
echo $ret

2.定时设置:每隔30天的1点进行备份。

[root@mysql_bak]# cat /etc/crontab
shell=/bin/bash
path=/sbin:/bin:/usr/sbin:/usr/bin
mailto=root
home=/

# for details see man 4 crontabs

# example of job definition:
# .---------------- minute (0 - 59)
# | .------------- hour (0 - 23)
# | | .---------- day of month (1 - 31)
# | | | .------- month (1 - 12) or jan,feb,mar,apr ...
# | | | | .---- day of week (0 - 6) (sunday=0 or 7) or sun,mon,tue,wed,thu,fri,sat
# | | | | |
# * * * * * user-name command to be executed
0 1 */30 * * /home/mysql_bak/mysql_bak.sh > /dev/null 2>&1

[root@mysql_bak]# crontab -e
0 1 */30 * * /home/mysql_bak/mysql_bak.sh > /dev/null 2>&1

重启crontab服务

service crond restart

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!