MySQL运维设计实战：故障到高效的跃迁

　　去年十月，机房空调修了两次，第三次干脆不修了，直接把冷凝水管捅开——水顺着天花板滴在监控屏右下角，一滴一滴，砸在“MySQL-PROD-03”那个红字告警框上，像倒计时。

　　我原以为是主从延迟抖动，查完binlog position、抓了tcpdump、连着看了三轮pt-heartbeat输出，结果发现从库IO线程卡在“Waiting for master to send event”，但master根本没发——它压根儿没在写。这玩意儿自己停了。不是挂，不是夯，是悄没声儿地蹲那儿，跟人装死似的。

　　小孟那天下午三点四十推门进来，手里拎着一袋糖炒栗子，壳裂得歪七扭八，边走边剥，一颗塞嘴里，两颗掉裤兜里。她站我工位边啃着，问：“你这页还没上线？”我说不是页，是运维设计——她点点头，说栏目首页改版第三版昨天又被产品拉回初稿，理由是“用户心智对齐度不足”。她讲完就把最后一颗栗子壳弹进我桌上那个印着“2019年技术峰会纪念”的搪瓷缸里，“哐”一声。

　　后来才扒出来，是那个刚上架的自研配置中心，自动往my.cnf里塞了个tmp_table_size=512M，没加单位。MySQL启动时读到这个，直接当成512字节。临时表撑不过两条GROUP BY，就地崩溃。崩溃不报错，只沉默。日志里就一句“[Warning] tmp_table_size is too small”，埋在三千行启动日志第两千九百七十一行。没人看启动日志——谁还看启动日志？又不是二十年前。

　　王工在隔壁接电话，声音不大但字字清晰：“……不归我们管啊李总，他们自己写的配置下发脚本，又没走发布平台校验……对，就是那个‘闪电交付’项目。”他挂了电话，转过头对我眨了一下左眼——他右眼上周刚做完胬肉手术，眼皮抬不全，所以每次眨都只眨左边，像在发摩斯电码。

文章配图，仅供参考

　　优胜劣汰。这话我敢打包票。不是指人，是指设计本身——活下来的方案，不是因为它最优雅，不是因为文档写得厚，更不是因为评审会上掌声最多；是它刚好在五次故障里，有四次扛住了，剩一次没扛住，但日志留得清楚，回滚够快，人没骂出脏话。其余那些带KPI标签的“高可用架构图”、“零信任接入层”，画完三个月，图还在Confluence里挂着，代码仓库早404了。这种东西，淘汰得比热更新还利索。

　　那天晚饭是盒饭，青椒炒肉，油浮在表面结了一层薄膜。我舀了一勺拌饭，米粒黏成坨。旁边新来的小哥问：为什么不用PMM做长期性能追踪？我没抬头，说：因为PMM的探针要连information_schema，而我们的information_schema在凌晨两点会锁死十七秒——这事上周五才发现，原因是一条未加索引的SELECT COUNT() FROM PROCESSLIST WHERE USER LIKE '%etl%'，ETL组自己写的巡检脚本。他们以为Processlist是内存视图，不锁表。它锁。只是锁得轻，像打个哈欠那么自然。

　　但你不能怪ETL组。我上个月在后台看到SEO组批量重写了三百七十多篇老技术稿的meta description，硬把“主从同步原理”改成“程序员必看！99%的人不知道的数据库暴击技巧”。作者老周直接打电话来，声音压得很低，但手在抖，问我能不能把原文底稿给他——他说孩子作文要用，里头有段讲relay log怎么被reset的比喻，他怕找不回来。我当场翻Git历史，找到十六天前那个commit，SHA开头是c7f3a。我敢保证这个SHA，错不了。

　　说回运维设计。其实没什么跃迁，全是断点续传。所谓“高效”，不过是把以前需要手动check十四个点的流程，压成三个可自动化断言：1）主从SQL线程状态必须为running且Seconds_Behind_Master < 30；2）所有非临时表的ENGINE必须是InnoDB；3）max_connections当前使用率不得持续超过68%，持续指的是连续采集五次，间隔两秒——为什么是68？因为上次OOM前最后一次采样就是67.8，往上抬0.2，就踩到内核oom_killer的触发阈值边缘。这不是理论，是尸体堆出来的经验。但没人写进SOP，因为SOP里要求写“原因分析”，而“尸体堆出来”不算合格原因。

　　后来我把那段配置校验逻辑塞进了CI流水线的pre-deploy钩子里，跑通了。可上线那天，部署平台突然抽风，把校验脚本路径拼错了，少了个斜杠，报错是“no such file or directory”，但它没拦住发布——它只是把错误扔进日志，然后继续往下走。我们直到凌晨一点半收到报警才意识到不对劲。那时候，新版my.cnf已经替换了十七台实例。雨还没停，我听见楼下保安在扫积水，哗啦，哗啦，节奏很匀，比我敲键盘还稳。

　　小孟今早又路过，说栏目首页第四版定下来了，这次用“极简心智模型”框架，不设二级导航，所有内容流进一个瀑布流容器。“用户体验更沉浸”，她引用产品经理原话，然后问我有没有空帮她改两篇MySQL稿的标题——“别太硬，但得有点劲儿”。我答应了。反正今天没故障，数据库也没人想碰。窗外梧桐叶掉得差不多了，光秃秃的枝杈影子打在玻璃上，横七竖八，像一组没索引的WHERE条件。

　　这事我现在不太想了。真要干点什么，不如明天去把那台三年没重启的Zabbix agent顺手升级了——它跑着2.4.8，连TLS1.2都不支持，监控数据全在明文传。可谁管呢？只要告警能发出来，人能看见就行。至于看见之后干嘛……

　　算了，不说了。泡面快坨了。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!