南方服务器运维怎么办?潮湿高温雷雨季的实战经验
在深圳做运维那几年,我们机房在二楼,一到三四月回南天,走廊墙上是水珠,推门进去一股霉味。第一年没经验,一台二手交换机跑了半年开始丢包,拆开一看,板卡边缘一圈绿锈。从那时候我才明白,南方服务器运维跟北方完全是两码事,北方操心的是干燥静电和灰尘,南方操心的是水。
回南天才是真正的头号麻烦
南方运维最怕的不是夏天热,是春天潮。相对湿度平时六七十还行,回南天能飙到95%以上,而且能连着一两周。设备最怕的不是空气湿,是结露——机柜金属表面温度低于露点,水汽直接在板卡上凝成水。我见过一次,一台1U服务器前面板挂了一层细密水雾,当时没敢关机,先开除湿机吹了两小时才敢动。

常见的症状有这么几个:

- 内存、PCIe卡报警频率突然变高,多半是金手指氧化接触不良,拔下来橡皮擦一遍就好了
- 硬盘故障率抬头,尤其是老盘,湿度大时盘体内部凝露风险上升
- 光纤接头、网口氧化,链路时断时续,换线才发现是接头脏了
- 沿海机房还有盐雾,金属件腐蚀速度比内陆快好几倍

应对办法说白了就两条:控湿和密封。机柜加盲板、封堵走线孔、冷热通道隔开,别让潮湿空气乱窜;机房配工业除湿机,注意排水管要接出去,我以前图省事用水箱,一晚上满了停机,等于白干。湿度我一般盯45%到60%这个区间,超过65%手机就开始响。
高温、雷雨和市电,南方运维的三件套
夏天南方机房的问题是空调扛不住。室外三十七八度,空调外机散热差,容易高压保护跳机,机房温度半小时就能冲到35度以上。我们的做法是外机加遮阳棚、定期冲洗冷凝器翅片,另外装两个温湿度传感器,一个在冷通道,一个在机柜顶部,超阈值直接推微信。
雷雨和市电波动也得算进去。南方雷暴日多,市电电压偏低、瞬间跌落很常见。接地电阻每年测一次,SPD该换就换,UPS电池别等到报警才想起来,铅酸电池三年左右容量就掉得厉害,我们一般是两年半开始分批换。另外带外管理一定要通,IPMI或者iDRAC配好,很多小问题远程重启、看日志就能解决,不用大热天跑机房。
还有一点容易忽略:巡检频率。北方可能一周一次够了,南方回南天和台风季我建议两三天看一次,重点看湿度曲线和硬盘SMART告警,别等业务挂了再查。
回到开头那台交换机,后来我们加了机柜密封条、一台30升/天的除湿机,走廊那面墙贴了防潮板,那年剩下的回南天再没出过接触不良的毛病。南方服务器运维没什么高深技术,就是把湿度、温度、电和雷这四件事当成日常功课,盯住数据、提前动手,比出了故障再救火省心得多。