欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

mysql搭建亿级cmd5数据库,毫秒级查询 完全过程

程序员文章站 2022-07-09 19:54:22
前言: 最近也在玩数据库,感觉普通机子搞数据库,还是差了点,全文查找,慢的要查一分钟更久。 但是搞cmd5库很不错,亿级数据库,毫秒级。 qq 944520563好吧,下面开始,首先你得需要一个mysql数据库,推荐 环境 : apmserv5.2.6 php+mysql Navicat for M ......

前言: 最近也在玩数据库,感觉普通机子搞数据库,还是差了点,全文查找,慢的要查一分钟更久。 
但是搞cmd5库很不错,亿级数据库,毫秒级。 
qq 944520563
好吧,下面开始,首先你得需要一个mysql数据库,推荐 
环境 : apmserv5.2.6 php+mysql 
            navicat for mysql 
推荐这两个软件,安装非常简单,都是全中文,所以方便新手操作。 
需要的其他东西,电脑一个, 10gb左右的硬盘空间。一个大点的字典。 
mysql搭建亿级cmd5数据库,毫秒级查询 完全过程
下面开始第一部分,打开navicat for mysql连接,很简单,这里就不截图了。 
开始建表, hash_cmd5,字段,plaintext,cmd5_16,cmd5_32 
都设置为不为空,第一个255,第二个16, 第三个 32位。 
mysql搭建亿级cmd5数据库,毫秒级查询 完全过程

开始导入数据, 很简单,参考图片,自行琢磨。 
mysql搭建亿级cmd5数据库,毫秒级查询 完全过程

参考自己的数据库源,设置编码 
mysql搭建亿级cmd5数据库,毫秒级查询 完全过程
    参考自己的数据库内容。 
mysql搭建亿级cmd5数据库,毫秒级查询 完全过程

第四,五部直接跳过。 

开始第六步, 只需设置plaintext,其他字段无需设置,但是前提一定要选择找来的数据库明文,不然就没有意义。 
mysql搭建亿级cmd5数据库,毫秒级查询 完全过程

直接到第八步开始,就可以导入数据了。 

大家自己试试吧,下一步教大家批量生成 cmd16  32 位的。 

高速单表导入

假如:你的文本文件在d:\aa.txt
表名: t
字段名:c
则是下面的命令
 
mysql> load data local infile 'd:/aa.txt' into table cmd5 lines terminated by ',' (cmd5_txt);

 一键创建 32 16位 md5

 

update `hash` set cmd5_16 = substr(md5(plaintext), 1, 16) where 1=1
 
update `hash` set cmd5_32 = md5(plaintext) where 1=1

  
至于有的大牛说,这个方法不稳定什么的,单机测试,单表六亿毫无压力