拿下技术面上传简历

日均 20 亿条事件的管道跑在 Kafka 上,12 个 broker,48 个分区。下游有两类消费者:实时风控要求秒级且不能丢;离线数仓可以延迟但要求全量。最近两个问题:风控消费组偶发 lag 飙到百万级;数仓侧一次 rebalance 后重复消费导致指标翻倍。你作为负责人,请说明:你怎么排查 lag、怎么在同一份数据上同时满足两类消费者、怎么处理重复与顺序、以及怎么评估要不要拆 topic 或换组件。

工程与系统设计数据与存储5 年以上知识点 1 个

面试官在考什么

判断候选人能否把积压、重复、顺序问题拆到分区与消费组粒度去定位,并针对实时与离线两种 SLA 做出架构分流与成本取舍,而不是笼统答“加消费者”。

消息队列

回答框架 · 前两步

  1. lag 排查:先区分生产突增、消费变慢、rebalance 频繁还是分区倾斜,看每分区 lag 而不只是总 lag,定位是单分区热点还是整体消费能力不足。
  2. 消费者设计:分区数是消费并行度的硬上限,扩容前先确认瓶颈在分区数、下游依赖还是消费逻辑,必要时批量消费 + 异步化或按 key 拆 topic。

还有 3 条答案要点、 3 层追问、 5 个常见坑, 以及针对你简历的追问路径,在定制报告里。

上传简历,生成我的题库先看示例报告

同一能力域的其他题