mysql 8.0的坑收集: insert ignore的性能问题,高并发会导致锁表直到崩溃

前言:从mysql5.7升级到mysql8.0需谨慎

mysql被收购后,新版本向下兼容变得越来越差,如果盲信升级,不小心就掉坑了。这就不难理解为什么mysql创始人 Monty (全名Ulf Michael Widenius) 要重新开发兼容mysql的mariaDB来应对改变。

建议升级前,仔细阅读官方的升级日志,查看具体有哪些细节变化:https://dev.mysql.com/doc/relnotes/mysql/8.0/en/

有些变化可能未在其中明确说明,那么就需要自己在线下试运行一段时间,没问题后,再做线上升级版本操作。


以下是我发现的可能导致严重问题的不兼容部分:

1、insert ignore存在性能问题,并发可能导致锁死并崩溃

用 mysql8.0 的innodb表,并发 insert ignore 时,发生表阻塞,导致大量 insert 和 update 等待直到连接数到上限,直到拒绝连接。而在mysql5.7中,同样的应用,未遇到此问题。

以下【转载】原因可能如下:

————————————————

mysql中replace into效率很差,多进程并发一下就会锁表,所以应该用on duplicate 来做更新,这是众所周知的了。没想到insert ignore也有性能坑,记录下遇到的问题。

为了往一张表中插入初始化数据,我开了10个进程并发向数据库中使用insert ignore插入数据,每条insert ignore语句包含7行数据。没想到上线开始跑脚本以后数据库出现不少锁表。根据innodb status log来看,锁住的是表的自增id主键。

调试了半天之后发现,原来是insert ignore的时候会对插入的每一行数据取S锁做unique id的检测,同时会对主键的自增id字段加写意向锁(insert intension),在unique key较为复杂的时候,检测unique key的时候会一直占用主键的插入意向锁,其他insert ignore也想给主键id加插入意向锁,导致死锁。以上情况是在mysql 8.x中发现的,以前用低版本的mysql似乎没遇到过相关问题,所以不清楚低版本mysql的insert ignore是否有坑,但是8.x的版本最好insert ignore不要插入多行数据,尤其是unique key比较复杂的时候(有三四个字段共同组成)

————————————————

以上原文链接:https://blog.csdn.net/kkk23333/article/details/106054915/


目前暂未找到解决办法,暂未发现新版本有修复此问题的信息。

临时解决办法:修改业务逻辑,先 select,再 insert,避免使用 insert ignore ,或者将表转为 MyISAM 引擎。


2、MySQL 8.0不再支持GROUP BY ASC/DESC

在5.7支持的 GROUP BY `字段`  ASC/DESC,在mysql8.0中不再支持。

解决方法:在 GROUP BY `字段`  后添加  ORDER BY `字段` DESC


3、Mysql 8.0不再支持MyISAM分区

解决方法:从mysql5.7升级到8.0后,需将有分区的 MyISAM表转为innodb类型


4、Mysql8.0从某8.0.24之后的某个子版本开始,分片参数改名了

这会导致旧的分片设置失效。