欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

mysql - php高并发下如何防止数据的重复写入

程序员文章站 2022-05-03 23:20:04
...
前端请求php写入数据的接口太频繁,导致mysql中出现大量重复数据,如何处理

回复内容:

前端请求php写入数据的接口太频繁,导致mysql中出现大量重复数据,如何处理

这个问题从三个方面来回答题主:

前端

前端的话要对请求进行限制,通过disabled提交按钮或者是设置定时器来禁止用户多重提交。

接口

接口一定要做好limit,但是这个并不是解决这个问题的关键点,因为你不可能设置一个limit为1 time per min。为什么关注这个点是因为有时候用户并不是一个人,可能是恶意程序。

后端服务

个人觉得这个是重点,它包括PHP端和Mysql。我不清楚你的数据是怎样的,我举例新浪微博。如果一个用户写好微博然后快速点击了两次发送,你会看到什么?两条相同微博么?不可能,出现了你来找我好了。最简单的做法,要对上次数据缓存,然后校验是否是重复提交的。Mysql结构要设计好,如果你的数据要唯一,那么你的字段和主键设计时候要设置确保唯一性。

先码这么多,解决方法有好多种,可以去搜索一下。

高并发还行吧,防止重复一般都是从数据上去处理的,前端也会做限制,因为重复数据肯定是重复请求,那么页面上防止重复点击肯定是要做的,这肯定不是什么特别有效的方式,加上唯一的约束肯定是最好的方式,无论是请求时第三方的唯一约束,还是时间或者其他你们数据能称作唯一的肯定是最好的。不过重复感觉很难避免,百度贴吧或者微信,qq有时候也会出现重复,尤其是服务器性能降低卡顿的时候。

前端的请求是冗余的吗,是的话前端要做请求防重

最佳解决思路为:将并行转换为串行。

转换的方法有很多,常见的就是队列形式。

首先你可以用UNIQUE INDEX给相应的field防止重复写入

比如 ALTER TABLE thetable ADD UNIQUE INDEX(pageid, name);

其次,要你的选择可以是:

// 选择一:覆盖之前同id的词条
INSERT INTO thetable (pageid, name, somefield)
VALUES (1, "foo", "first")
ON DUPLICATE KEY UPDATE (somefield = 'first')

// 选择二:添加重复计数器
INSERT INTO thetable (pageid, name)
VALUES (1, "foo"), (1, "foo")
ON DUPLICATE KEY UPDATE (pagecount = pagecount + 1)

最后,可以在写入之前先查找,求count(*),不过这种效率比较低。

好像没有有效的方式完美解决这个问题,可以设置一个缓存判断,执行过写入一次,就不再执行下次同一写入

熟悉linux可参考sudo锁;

缓存吧 内存建key 插入关系数据库 延迟销毁 key

好奇怪你们难道都不知道mysql的共享锁吗

加锁啊,共享锁

一般来说都是前端限制下,比如button按钮在后端响应结束之前置灰;一般需求这样做就足够了

七目鱼

前端限制 -- 过滤频繁的请求,如按钮变灰,或者控制一个标志变量来判断是否执行ajax请求 。。这个只是体验,并不能真的限制~~
关键是后端限制
比如: select for update

整个请求的过程都可以做放置重复提交的验证。

  1. 在前端控制,比如按钮置灰等

  2. 在后端业务逻辑中,通过查询,判断该内容是否已经提交过(通过缓存来记录之类的)

  3. 在数据库层通过唯一键的方式来限制重复提交的记录。对于重复提交的内容自动被过滤。

在高并发的情况下,其实还要考虑下db 是不是能够扛得住并发,所以增加队列的限制,使得并发在进入db 的时候是一个串行的操作,当然这个还得看时机情况了。

MYSQL 的话用事务处理吧。。。

楼上回答的,有没有看问题啊。这种情况基本上只能靠前端做限制,或者API规定同一个唯一标识的请求频率。

需要说明什么数据重复了,重复了有什么影响?业务逻辑上要做避免重复的检查吗?先把业务逻辑定义清楚,才能有针对性的出解决方案。

前端先过滤掉重复刷新的。然后服务端再去过滤。

在表单里生成一个唯一的标识,提交的时候判断这个标识的内容有没有提交过了。

相关标签: php mysql