如何往数据库快速插入百万条数据

具体逻辑实现:
创建两个表,一个内存表,一个数据表
然后将百万数据先存入内存表,再在内存表数据导入数据表
数据库默认好像只能存13万条数据,更改ini配置
max_heap_table_size = 1024M
前提:关闭mysql服务,在操作,重启
如何往数据库快速插入百万条数据_第1张图片

具体SQL语句:

# 创建内存表
CREATE TABLE `vote_record_memory` (  

    `id` INT (11) NOT NULL AUTO_INCREMENT,  

    `user_id` VARCHAR (20) NOT NULL,  

    `vote_id` INT (11) NOT NULL,  

    `group_id` INT (11) NOT NULL,  

    `create_time` datetime NOT NULL,  

    PRIMARY KEY (`id`),  

    KEY `index_id` (`user_id`) USING HASH  

) ENGINE = MEMORY AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8;


# 创建数据写入表
CREATE TABLE `vote_record` (  

    `id` INT (11) NOT NULL AUTO_INCREMENT,  

    `user_id` VARCHAR (20) NOT NULL,  

    `vote_id` INT (11) NOT NULL,  

    `group_id` INT (11) NOT NULL,  

    `create_time` datetime NOT NULL,  

    PRIMARY KEY (`id`),  

    KEY `index_user_id` (`user_id`) USING HASH  

) ENGINE = INNODB AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8;


# 更改SQL语句结束符
delimiter |


# 创建SQL函数,用于生成百万条数据
CREATE FUNCTION `rand_string`(n INT) RETURNS varchar(255) CHARSET latin1  

BEGIN   

DECLARE chars_str varchar(100) DEFAULT 

'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';   

DECLARE return_str varchar(255) DEFAULT '' ;  

DECLARE i INT DEFAULT 0;   

WHILE i < n DO   

SET return_str = concat(return_str,substring(chars_str , FLOOR(1 + RAND()*62 ),1));  

 

SET i = i +1;   

END WHILE;   

RETURN return_str;   

END |


# 生成百万条数据至内存表 2min16s
CREATE  PROCEDURE `add_vote_memory`(IN n int)  

BEGIN    

  DECLARE i INT DEFAULT 1;  

    WHILE (i <= n ) DO  

      INSERT into vote_record_memory  (user_id,vote_id,group_id,create_time ) VALUEs 

(rand_string(20),FLOOR(RAND() * 1000),FLOOR(RAND() * 100) ,now() );  

            set i=i+1;  

    END WHILE;  

END |


# 再次将语法结束符改回来
delimiter ;



# 将内存中的百万数据插入数据表 0.37s
CALL add_vote_memory(1000000);

INSERT into vote_record SELECT * from  vote_record_memory; 

你可能感兴趣的:(数据库,百万数据插入)