大数据架构师必掌握的5大实时计算技术要点

　　去年春节，我守着IDC机房三号舱的K8s集群看Flink作业飘红，窗外在下冻雨，玻璃上全是斜着爬的水痕，像有人用指甲刮过。小孟——就是你们门户那个干了四年频道编辑的小孟——那天晚上十一点半蹲在我工位边啃冷掉的煎饼果子，韭菜馅漏了一裤子，她手机一直震，但没接，就搁在散热口上烘着，屏幕反着蓝光。

　　大数据架构师必掌握的5大实时计算技术要点——就这句，我原以为是招聘JD里又一句凑数的废话，结果除夕下午三点十七分，我们线上那个实时用户行为流突然吞掉两百三十万条event不吐核，下游Spark Streaming直接卡死，告警钉钉消息弹出三百七十二条，而监控页面的背压箭头已经绿得发黑。我抓起耳机冲进机房，门还没关严，隔壁运维老张正对着UPS配电柜打电话：“……不是我调的，我连PDU开关都没碰！”他左手拎着半瓶冰啤酒，右手食指还沾着油渍，应该是刚修完空调外机。

　　第一个点：状态后端选型不是选性能，是选谁先崩溃。RocksDB在高IO抖动时会把checkpoint拖成一条蚯蚓状的长条，而FsStateBackend倒是在磁盘打满前就先跪了——这个我敢打包票。去年腊月廿三，我们切了一次FsStateBackend，上线三小时后，Flink Web UI里那个“Latest Checkpoint Duration”数值跳到十八秒，没人觉得不对，因为平时就是十九秒。直到凌晨两点零七分，checkpoint开始失联，日志里反复出现“Cannot lock state handle”，其实那会儿锁根本没被占用，是线程池耗尽了，但日志偏写成锁冲突——典型的误导性报错。我后来翻了Flink 1.15.4的Jira，Issue FLINK-27092，底下有人留了句：“It’s not about locking. It’s about being out of breath.” 我把这句抄在便利贴上，贴在显示器右下角，到现在还在。

　　第二个点：Exactly-once不是开个参数就来的。你得亲手去翻Source Connector的offset提交逻辑，特别是Kafka consumer group里那些隐形的rebalance风暴。我们那个埋点Topic有十六个分区，但consumer instance只有三个，每次自动rebalance都会重分配，而Flink的checkpoint对齐又卡在offset commit那一瞬。上季度末有回灰度发布，运维同事小陈在后台改了个topic配置，顺手给group.id加了个时间戳后缀，没同步文档——就这一笔，让下游实时推荐榜整整两小时刷着2019年的用户点击热词。我当时在食堂打饭，听见他跟产品吵，声音压得很低，但能听清后半句：“……你说不改group，我怎么清旧offset？”他说话时一直用筷子尖戳饭盒盖，戳出四个小坑。

　　第三个点：窗口触发器不是调时间，是调心跳。EventTime + ProcessingTime混合水印那套，真上生产，就得天天盯着watermark lag曲线。我们有个实时地域聚类作业，水印卡在-37秒不动了三分钟，我查flink-metrics发现是source端时间戳字段里混进了毫秒级的Unix Timestamp和秒级的ISO String，解析器悄悄转成了负值。这不是bug，是上游数据协议本身就没约定好格式。我找数据组对账，对方说“以前都这样跑”，我说“以前没上实时计算”。他顿了两秒，低头把保温杯盖拧紧又松开，没再说话。桌上那杯枸杞茶浮着一层白膜，没动过。

　　第四个点：反压不是瓶颈，是语言。它不说“磁盘慢了”，它说“task slot不足”；不说“网络包丢了”，它报“shuffle data lost”。你得听懂它的方言。有回反压飙高，运维排查了一整夜网卡中断，结果根因是CheckpointStorage写HDFS时用了未配failover的namenode地址——而我们监控里根本没有对namenode连接健康做探活。这事之后，我把Prometheus里一个叫hdfs_namenode_active_state的指标设成了静音黑名单。不是不用它，是它每次报警我都得先打开ZK CLI确认znode有没有挂，太慢，不如手动巡检快。反正人比机器更懂什么时候该歇口气。

文章配图，仅供参考

　　第五个点：实时计算里最假的词，是“最终一致”。真上了量，你就知道什么叫“最终也没一致”。我们有个ABTest分流服务，要求秒级延迟，实际线上漂移区间在0.8秒到4.3秒之间，运营半夜三点发截图质问为什么灰度用户看到的是三天前的策略文案——其实不是计算错了，是分流决策依赖一个缓存中的用户画像版本号，而那个版本号的更新依赖另一个异步MQ的at-least-once语义推送。它偶尔丢消息，我们没补推，下游也从不校验。所以严格讲，不是不一致，是“默认接受不一致”。这玩意儿写进SLO，客户签了字，我们就当它成立。

　　对了，小孟最后没吃掉那半个煎饼，放那儿忘了，第二天早上发酸，散发一种类似酸奶加铁锈的气味。我们谁都没提，只是一起盯着屏幕等下一个checkpoint成功。优胜劣汰不是市场机制，是Flink Web UI上那个绿色勾每两分钟闪一次，闪够三千次，你就活下来了。

　　现在我还留着当时打印的checkpoint失败日志纸条，折痕处洇开了点油渍，估计是她煎饼上蹭的。要不要撕？算了，夹在Flink源码注释页里当书签吧——反正那页讲的就是CheckpointCoordinator的fail-fast逻辑，翻烂了也救不回一个坏掉的RocksDB实例。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!