大数据架构师不写的3个代码陷阱，你中招了吗？

　　上周三下午，机房空调坏了，风扇声跟拖拉机似的，老张蹲在机柜底下拧螺丝，拧到一半听见隔壁组在吵Flink Checkpoint超时的事——我就在那个瞬间把第十八份《数仓分层规范V3.2（终稿）》PDF关了，心想：又来了。

　　他们真不写那三个东西。不是写不了，是写了要被干掉。不是团队文化问题，是物理层面淘汰机制启动了——你代码里敢露这三样，下游ETL跑着跑着就飘红，上游产品经理半夜三点发钉钉语音问“为啥昨天的UV少算七百二十三”，然后你就会发现你的MR提交权限没了，连Spark UI都进不去。优胜劣汰？对，但淘汰得特别安静，连个邮件通知都没有，就像机房里那台哑了的UPS报警器，红灯还亮着，就是不响。

文章配图，仅供参考

　　第一个：硬编码分区字段名。不是用字符串拼接那种低级错误，是那种穿了三层包装的——你在UDF里new了一个ConfigUtil，ConfigUtil里调了PropertyReader，PropertyReader读了个resources/config.properties，结果里面写着partition_col=dt……结果某天运维改了hive-site.xml，加了hive.partition.filter.use.nulls=true，你这个dt突然全变NULL，下游所有分区跳过扫描，整张表查出来像空的。我原以为只是逻辑没覆盖全，结果去查YARN日志，发现ApplicationMaster启动时根本没加载那个properties文件——它压根不在class path里，早被fat jar里的旧版本覆盖了。桌上那盒凉透的黄焖鸡米饭还敞着盖，酱汁渗到笔记本键盘缝里，我一边擦一边想：这玩意儿谁写的？一问，是架构师半年前写的POC脚本，后来直接拷进了生产作业，连注释都没删“// demo only”。

　　第二个：用LocalDateTime解析HDFS路径时间戳。不是parse错了，是parse对了。你写LocalDateTime.parse("20240615", DateTimeFormatter.BASIC_ISO_DATE)，跑本地IDE没问题；打包扔YARN上，NodeManager所在机器时区是Asia/Shanghai，而NameNode挂的是UTC，结果同一天生成的两个路径，/data/20240615和/data/20240614，你用LocalDateTime判前后，顺序颠倒。我们查了整整两天，中间小王接了个电话，说他女儿高烧39.2℃，挂了电话就把JobHistoryServer的GC日志打印出来贴墙上排版，像书法。最后定位到那行代码，删掉，换成Instant.ofEpochSecond(Long.parseLong(pathSuffix), 0)。我没敢说“你这写法能过Code Review？”——因为Review人就是他本人，上周刚升的TL。

　　第三个：在Spark SQL里手写CASE WHEN做维度退化。不是逻辑错，是它根本没触发谓词下推。你写了case when d.gender_code='01' then 'male' when d.gender_code='02' then 'female' else 'unknown' end as gender_desc，然后外面套select from tmp where gender_desc = 'male'——结果整个d表全扫了，过滤动作全在Driver内存里做。Spark UI里Stage Details里Shuffle Write Bytes那个数字疯涨，我在屏幕右下角看着它从三百七十二MB一路跳到两千六百多，手边咖啡凉了三次。最绝的是，有人真用EXPLAIN EXTENDED核对过执行计划，但只看了最后两行，没往下翻第三屏——第三屏末尾清清楚楚印着：“PushedFilters: []”。当时窗外在下雨，雨点打在机房西侧玻璃上全是斜线，像乱码。

　　说了三个，其实还有个半吊子陷阱：在Kafka Consumer配置里把enable.auto.commit设成true，再配个group.id叫"realtime-analytics-v1"，也不加consumer-group-migration文档……结果灰度切流那天，运维顺手在新集群里启了个同名group，老consumer自动重平衡，消息全丢了。这事我没写进去，因为不确定是不是真归类为“架构师不写的”，还是“写了但没管住后端实习生改的”。我说不准。

　　对了，昨天茶水间碰见李工，他端着保温杯站那儿讲K8s operator怎么自愈Spark Application，讲到一半停住，盯着微波炉转盘上半融化的巧克力棒，说：“其实啊，有些坑不是不会填，是填了反而暴露自己还在看源码。”他舔了舔嘴角沾的可可粉，转身走了。我愣了三秒，才发现自己手里捏着张揉皱的架构图，上面用红笔圈了十七个箭头，其中一个箭头旁边写着“此处应抛异常但写了log.warn”——字迹很熟，是我自己三个月前写的。

　　所以现在我改了习惯：每写完一段SQL或者一段conf，先删掉所有中文注释，再删掉所有TODO，最后打开终端，cd到项目根目录，执行grep -r "dt=" . | grep -v test，grep -r "LocalDateTime" . | grep -v java.time.format，grep -r "CASE WHEN" . | grep -v test ——不是为了查bug，是为了看有没有哪个名字，会让我在凌晨两点收到告警时，第一反应是关掉微信、拔掉网线、把电脑塞进背包里冲进雨里。

　　还没试过能不能躲掉。下周一上线前，我打算试试。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!