计算机视觉网站扩容难？三步清除存储冗余

　　去年十二月，凌晨三点十七分，我蹲在IDC机房二层冷通道尽头那台标着CV-PROD-07的存储节点旁边，听见它风扇转速突然往下掉半档——不是故障告警，是物理负载降了。我摸了摸机箱侧板，温的，不烫。王工刚把泡面汤泼在自己鞋面上，蹲着拿纸巾擦，没抬头。我说“清得差不多了”，他“嗯”一声，筷子还插在桶里。

文章配图，仅供参考

　　这事儿起因是客户半夜发来的扩容工单，说GPU集群跑不动新模型了，IO卡死，延迟抖到八百毫秒。运维组长老周甩过来一句话：“查查是不是盘撑爆了。”我打开ceph df，看到rbd_pool_used_pct 68%，但real_avail只有两百三十四TB——虚高得很。我原以为又是metadata膨胀，结果一通pg dump、rados ls扫下来，发现五万七千多个未引用的blob_开头的object，全在/cv-data/frames/2023Q3/目录下挂着，创建时间横跨六十八天，最后修改时间统一停在十月二十六号下午四点零三分。这个我敢打包票：那个时间点，他们前端压测服务挂了，自动截帧脚本却还在往里写空帧。

　　所以哪是什么扩容难？是没人敢删。上周三上午十点，在17楼会议室，李总监拍桌子说“先扩盘再优化”，CTO盯着屏幕右下角的时间戳看了足足十八秒，没说话。茶水间咖啡机滴答滴答漏第三滴的时候，我看见实习生小林偷偷用手机拍下白板上写的“缓存淘汰策略待评审”，手有点抖。她后来跟我说，她导师在高校做CV项目，去年十一月也遇到同样情况：三台NFS挂载点，两个挂满，一个空着，因为团队默认“留着总比丢了强”。这话我听着耳熟，像二十年前我们用磁带库时候说的。

　　第一步，砍冗余路径。不是靠du -sh，是grep -r 'frame_\\|img_\\|seq_' /etc/fstab | xargs -I{} sh -c 'mount | grep {}' | awk '{print $3}' | xargs -I{} find {} -maxdepth 3 -name ".jpg" -size +20M -mtime +90 -delete。你别笑，真有三十台节点里藏着十七个隐藏挂载点，挂的是三年前测试环境遗留的NAS共享卷。我亲眼看见小张在删完一个路径后顺手关掉了监控告警，说“反正也没人在看”。机柜顶部那个老旧的声光报警器，一直嗡嗡响着，但没人去修——去年台风过境时被雨水潲进过一次，现在只当背景噪音。

　　第二步，打标签式清理。不是用脚本扫哈希值，是翻训练日志的task_id字段，逆向查所有生成该批次数据的job_run_id，再反推source_pipeline_version。这个活我干了四十一个小时，中间接了三次电话，两次是物业催交水电押金，一次是老婆问洗衣机门是不是我关的——我记不清，就说“可能吧”。你问我为什么不用CI流水线日志？因为他们的GitLab Runner早就不存完整build trace了，只留个status: passed。这个我说不准，反正我导出的log压缩包解压后，第七个tar.gz里头缺了两页timestamp。雨一直下，不是暴雨，就是那种黏糊糊的南方冬雨，打在数据中心玻璃幕墙上，像没擦净的油渍。

　　第三步，硬切生命周期。我把/usr/local/bin/cv-purge-policy.sh改成每日03:17执行，加了一行rm -f /data/cv/raw//archive//tmp_。执行前加sleep 7。这个睡眠时间不是为等IO低谷，是给值班人留七秒反应时间——够按Ctrl+C，不够救数据。昨天早上我路过运维台，看见老周把一张A4纸贴在显示器边框上，上面手写：“03:17之后勿动cv-07”。纸下面压着半块吃剩的桃山皮月饼，糖霜结了薄壳。

　　优胜劣汰？不是算法选特征，是人在选要不要扛责。你删掉一个帧序列，训练中断；你扩容一台节点，预算超支。前者归你，后者归PM。上个月我在杭州见着阿里云那边做视觉平台的刘伟，他说他们内部有个灰度规则：只要某个pipeline连续七天没调用record()函数，自动打上DEAD标签。我问他那怎么判定“没调用”？他掏出手机翻聊天记录，给我看一条钉钉消息：“@运维组，你们把kafka topic cv-frame-in 的retention.ms调成300000试试？”——然后就没然后了。我喝了一口已经凉透的美式，杯子底有一圈深褐色印子，像硬盘坏道。

　　对了，昨天财务部把去年Q4的IT资产报表发出来，其中一行写着“CV专用SSD阵列，利用率：62%（逻辑）/29%（有效）”。我没回邮件。桌上那份《云原生AI基础设施白皮书》摊开着，翻到第83页，图5-12画了个完美的三层缓冲区示意图，底下小字标注“实际部署中，L2 cache常与L1合并，且部分节点禁用write-back”。我用红笔在旁边写：“禁用≠不存在，只是没人敢看write cache的journal文件。”

　　这事还没完。明天上午九点，我约了存储厂商的人来看cv-07的RAID卡电池健康度——不是查坏块，是看它能不能撑过下一轮purge脚本触发的批量sync。你要真想跟进去，记得带上绝缘手套。那块电池外壳裂了条缝，上次换还是前年夏天，修的人忘了涂导热膏，现在芯片表面有点泛黄。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!