欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python pandas ERROR 2006 (HY000): MySQL server has gone away

程序员文章站 2022-04-10 22:45:26
ERROR 2006 (HY000): MySQL server has gone away ......

之前在做python pandas大数据分析的时候,在将分析后的数据存入mysql的时候报ERROR 2006 (HY000): MySQL server has gone away

原因分析:在对百万数据进行分析的时候,由于分析逻辑有点复杂,导致消耗的时候有点多,触发了mysql connect_timeout机制,当分析结束后想把结果存入mysql的时候,连接早已经断开了。

解决方案:针对一些复杂的数据分析,将数据分片处理,并在每次执行mysql插入的时候判断连接是否断开(connection.ping(True)),若断开则重新建立连接。关于分片可以采用python dask进行并发计算