做运维第八年,我总结出一个反常识的规律:秋天比夏天更容易出事。夏天大家都紧张,空调、巡检、告警阈值盯得死死的;一到九月十月,天气凉快下来,人松懈了,机器反而开始闹脾气。
去年十月,我们一个机房的室外机被梧桐落叶糊住了,进风量掉了快一半。空调压缩机高温保护停机,机柜进风温度从23度爬到31度,三台存储服务器先后报硬盘温度告警。发现的时候已经过了四十多分钟,全靠值班的兄弟闻到一股焦味才跑过去看。

降温不代表可以关空调
很多自建机房或者小型IDC会想着"天凉了,空调开小点省电"。这个念头本身没错,但执行起来往往变成直接关机,或者把设定温度调到28度。问题在于服务器是7×24小时跑满的,机柜内部的温升跟外面气温关系没那么大。外部凉快只影响空调的散热效率,不代表机柜进风就够冷。

我的做法是:秋季把冷通道温度设定保持在22到24度,不跟着天气走。省电可以省在别的地方,比如清理滤网、调整送风地板开孔率,这些效果比调高温度明显得多。

秋天这几项最好挨个过一遍
- 室外机和冷却塔:落叶、柳絮、杨树毛最容易堵,每周开盖看一眼,别等告警
- 防静电:北方秋天湿度经常掉到30%以下,进机房前摸一下静电释放柱,别直接上手拔硬盘
- 供电线路:秋季大风天气多,架空线路容易晃,UPS电池做一次带载测试,看后备时间还剩多少
- 温湿度传感器校准:用了两年的探头误差能到2度以上,该换就换
- 备份验证:光看备份任务成功不算,真恢复一次才知道能不能用
去年我们就是因为没做UPS带载测试,一次市电闪断,电池撑了不到六分钟就掉了,比标称的十五分钟差远了。后来查出来是两组电池里有一组已经鼓包。
秋季流量高峰别忽略
九月开学、十月国庆、十一月初的双十一预热,这几个节点流量曲线跟平时完全不一样。我一般提前两周做压测,重点看三个数:数据库连接池占用、带宽峰值、磁盘IO等待。有一年双十一预热,我们带宽跑满了才发现监控阈值设的是"持续五分钟超过80%才告警",而流量是尖刺型的,压根没触发。
另外秋季昼夜温差大,对老设备的硬盘不太友好。我手上有一批用了四年的机械盘,十月份一个月换了五块,都是温度反复波动之后出现坏道。如果你的机器也到这个年限,提前备好替换盘,别等RAID降级了才下单。
说到底,秋季运维没有什么高深技巧,就是把夏天绷紧的那根弦保持住。天气舒服了,人容易懒,机器不会。花半天时间把上面那几项过一遍,能省掉后面好几天的通宵。