欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

用sql语句快速生成大量数据,批量生成数据

程序员文章站 2022-09-14 14:33:31
用sql语句快速生成大量数据,批量生成数据1.首先先建两个表– 创建一个临时内存表set global log_bin_trust_function_creators=1;DROP TABLE IF EXISTS vote_recordss_memory;CREATE TABLE vote_recordss_memory (id int(10) unsigned NOT NULL AUTO_INCREMENT,user_id varchar(20) NOT NULL DEFAULT ‘’,v...

用sql语句快速生成大量数据,批量生成数据
1.首先先建两个表

– 创建一个临时内存表
set global log_bin_trust_function_creators=1;
DROP TABLE IF EXISTS vote_recordss_memory;
CREATE TABLE vote_recordss_memory (
id int(10) unsigned NOT NULL AUTO_INCREMENT,
user_id varchar(20) NOT NULL DEFAULT ‘’,
vote_num int(10) unsigned NOT NULL DEFAULT ‘0’,
group_id int(10) unsigned NOT NULL DEFAULT ‘0’,
status tinyint(2) unsigned NOT NULL DEFAULT ‘1’,
create_time datetime NOT NULL DEFAULT ‘1971-01-01 01:01:01’,
PRIMARY KEY (id),
KEY index_user_id (user_id) USING HASH
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

– 创建一个普通表,用作模拟大数据的测试用例
DROP TABLE IF EXISTS vote_records;
CREATE TABLE vote_records (
id int(10) unsigned NOT NULL AUTO_INCREMENT,
user_id varchar(20) NOT NULL DEFAULT ‘’ COMMENT ‘用户Id’,
vote_num int(10) unsigned NOT NULL DEFAULT ‘0’ COMMENT ‘投票数’,
group_id int(10) unsigned NOT NULL DEFAULT ‘0’ COMMENT ‘用户组id 0-未激活用户 1-普通用户 2-vip用户 3-管理员用户’,
status tinyint(2) unsigned NOT NULL DEFAULT ‘1’ COMMENT ‘状态 1-正常 2-已删除’,
create_time datetime NOT NULL DEFAULT ‘1971-01-01 01:01:01’ COMMENT ‘创建时间’,
PRIMARY KEY (id),
KEY index_user_id (user_id) USING HASH COMMENT ‘用户ID哈希索引’
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT=‘投票记录表’;

2.创建一个可生成长度为n的随机字符串的函数

– 为了数据的随机性和真实性,我们需要创建一个可生成长度为n的随机字符串的函数。
– 创建生成长度为n的随机字符串的函数
DELIMITER // – 修改MySQL delimiter:’//’
DROP FUNCTION IF EXISTS rand_strings //
SET NAMES utf8 //
CREATE FUNCTION rand_strings (n INT) RETURNS VARCHAR(255) CHARSET ‘utf8’
BEGIN
DECLARE char_str varchar(100) DEFAULT ‘abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789’;
DECLARE return_str varchar(255) DEFAULT ‘’;
DECLARE i INT DEFAULT 0;
WHILE i < n DO
SET return_str = concat(return_str, substring(char_str, FLOOR(1 + RAND()*62), 1));
SET i = i+1;
END WHILE;
RETURN return_str;
END //

3.创建一个插入数据的存储过程

– 为了操作方便,我们再创建一个插入数据的存储过程
– 创建插入数据的存储过程
DROP PROCEDURE IF EXISTS insert_vote_recordss_memory //
CREATE PROCEDURE insert_vote_recordss_memory(IN n INT)
BEGIN
DECLARE i INT DEFAULT 1;
DECLARE vote_num INT DEFAULT 0;
DECLARE group_id INT DEFAULT 0;
DECLARE status TINYINT DEFAULT 1;
WHILE i < n DO
SET vote_num = FLOOR(1 + RAND() * 10000);
SET group_id = FLOOR(0 + RAND()*3);
SET status = FLOOR(1 + RAND()*2);
INSERT INTO vote_recordss_memory VALUES (NULL, rand_strings(20), vote_num, group_id, status, NOW());
SET i = i + 1;
END WHILE;
END //
DELIMITER ; – 改回默认的 MySQL delimiter:’;’

4.生成数据

– 开始执行存储过程,等待生成数据(100W条)
– 调用存储过程 生成100W条数据
CALL insert_vote_recordss_memory(10000000);
– 查询内存表已生成记录(为了下步测试,目前仅生成了x条)
SELECT count() FROM vote_recordss_memory;
– 把数据从内存表插入到普通表中(100w条数据ys就插入完了)
INSERT INTO vote_records SELECT * FROM vote_recordss_memory;
– 查询普通表已的生成记录
SELECT count(
) FROM vote_records;

5.实时监控mysql的工具

实时监控mysql的工具

https://blog.csdn.net/u013820054/article/details/54022456

---------±------mysql-status-------±----threads-----±----slow-----±–bytes—±--------locks----------
time | QPS TPS ins upd del| run con cre cac| sql tmp Dtmp| recv send| lockI lockW openT openF
---------±-------------------------±----------------±-------------±----------±-----------------------
23:15:03 | 0 3738 3738 0 0| 3 3 0 0| 0 1 0| 0K 8K| 1 0 121 27
23:15:04 | 0 3781 3781 0 0| 3 3 0 0| 0 1 0| 0K 8K| 1 0 121 27
23:15:05 | 0 3733 3733 0 0| 3 3 0 0| 0 1 0| 0K 8K| 1 0 121 27
23:15:06 | 0 3737 3737 0 0| 3 3 0 0| 0 1 0| 0K 8K| 1 0 121 27
23:15:07 | 0 3576 3576 0 0| 3 3 0 0| 0 1 0| 0K 8K| 1 0 121 27
23:15:08 | 0 3589 3589 0 0| 2 3 1 1| 1 1 0| 0K 8K| 1 0 121 27
23:15:09 | 0 3548 3548 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:10 | 0 3791 3791 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:11 | 0 3861 3861 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:12 | 0 3892 3892 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:13 | 0 3857 3857 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:14 | 0 3900 3900 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:15 | 0 3701 3701 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:16 | 0 3856 3856 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:17 | 0 3166 3166 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:18 | 0 3865 3865 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:19 | 1 3853 3853 0 0| 3 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:20 | 0 2864 2864 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:21 | 0 2927 2927 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27
23:15:22 | 0 3820 3820 0 0| 2 3 0 1| 0 1 0| 0K 8K| 1 0 121 27

实践得到生成10000条数据时间是23秒左右;生成100万条数据在2300秒(38分钟)

本文地址:https://blog.csdn.net/qq_34412985/article/details/107140921