9年容器运维实战：建站资源优化，首屏快3倍、存储省70%

　　去年劳动节，我蹲在IDC三号机房门口啃冷掉的牛肉馅饼，雨水顺着彩钢板接缝往下淌，在水泥地上砸出一个个灰褐色小坑。对面老张正蹲着调光模块——他左手无名指上那圈白印子还没褪干净，是去年换SSD时被静电打的。我咽下最后一口饼渣，听见他手机响了，屏幕上写着“媳妇儿”，他没接，但把音量调小了三格。

　　首屏快3倍？不是压测跑出来的数字，是运营半夜三点微信甩我截图：用户停留时长从八秒跳到二十六秒。我原以为是CDN缓存策略改了，结果扒开Kubelet日志发现——node07那个Pod根本没走CDN，它直接从本地minio挂载了压缩包，解压后往内存里一塞就完事。这玩意儿我们三年前砍掉的，当时说“纯属浪费内存”，现在倒好，它自己又长回来了，还是用initContainer写的。

　　存储省70%？真不是算术题。上周清库存，我把十二个废弃的registry镜像删了，顺手扫了眼harbor里的tags——三百七十二个tag里，只有十九个被最近三十天pull过。剩下那三百五十三个，全是build.sh脚本自动推的、带时间戳和git-commit-id的“唯一镜像”。李工说这叫不可变基础设施，我说这叫不可删基础设施。他切西瓜时刀停了一下，瓜汁滴在工装裤左膝上，形成一块深红补丁。

　　优胜劣汰？对。但淘汰的从来不是技术，是人。王总监前年力推的ServiceMesh网关，上线两个月就跪在gRPC超时上，现在它还在test-cluster里苟着，只是标签改成“deprecated-v1-legacy”；而隔壁组小刘写的那个三行shell脚本——把nginx conf按UA动态注入header——去年双十一扛住了，现在跑在prod上，连Helm chart都没写。我就问了一句：“你这脚本有没有测试？”他回我一个表情包：一只穿西装的仓鼠在滚轮上吐彩虹泡泡。

　　说到这儿我得补一句：这个我敢打包票——去年劳动节那天下午四点十七分，Node04的kube-proxy突然全量重建iptables规则，整整花了十八秒。不是日志里写的“reconcile took 18s”，是我在console里用watch -n 0.1 'iptables -t nat -L | wc -l' 数出来的。第十七秒时我看见数值从289跳到642，然后啪一下回弹到311。这中间到底删了啥、加了啥、哪条chain被重复插入三次——没人知道。监控只打了P95延迟毛刺，告警规则写的是“>500ms触发”，它确实没报警。但我记住了那十八秒，因为那会儿我耳机里还放着《卡农》钢琴版，第十七秒正好是第二遍转调那儿，高音区断了一拍。

文章配图，仅供参考

　　昨天我又翻了下去年五一那周的日志归档。最底下一行是2023-05-01 23:59:58，kubefed-controller-manager 报了条warn：“unable to find primary cluster endpoint for namespace staging-app-saas”，后面跟了个空格，然后戛然而止。这行日志我当年没管，因为第二天上线顺利，监控全绿。现在我也不知道该不该管——毕竟它已经躺平两年了，连日志轮转都轮不到它，更别说被alertmanager抓出来喊人。

　　所以你看，快和省这事，真不是架构图决定的。是某个周四凌晨两点，你发现ingress-nginx里多挂了一个unused annotation，删了之后首屏降了210毫秒；是你顺手把logrotate配额从100MB改成2GB，结果发现磁盘IO暴增，最后换成journalctl --vacuum-size=500M才喘上气；是李工喝第三杯茶时忽然说：“等等，那个volumeMount路径是不是漏了个trailing slash？”——结果整个灰度集群滚动重启失败三次，但第四次成功了，首屏数据也跟着拐了个弯。

　　我不信什么最佳实践。我只信那个周五下午，我老婆来公司楼下等我下班，她站在星巴克玻璃门外，手里拎着两个袋子：一个是给我的，里面是热豆浆和素包子；另一个是给她自己，是一杯加双份奶盖的芒果冰。她隔着玻璃朝我比了个手势——食指和中指并拢，横着划了一下。我知道，意思是“你今天能准时走？”。我没点头，只把电脑合上，关了显示器。屏幕黑下去那一瞬，我看见倒影里有她，也有我自己。背后机柜风扇声突然大了起来，嗡嗡嗡，盖过了楼外车流。

　　下个月开始，我要把所有自建registry里的镜像清理策略，换成按镜像layer复用率+最近pull频次联合加权。不是为了省空间——是怕哪天又冒出个“唯一tag”的镜像，把节点内存吃满，然后大家又开始查是不是OOMKilled。但具体权重怎么设？这个我说不准。得先跑七天真实流量，看metrics里histogram桶怎么分布。对了，我打算拿老张的测试机试，他答应了，但说要我帮他把机柜上那个松动的导轨螺丝拧紧。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!