Flink 实时 JOIN：使用 delete+insert 处理 update

Apache Flink 实时 JOIN 更新处理：彻底解决状态泄漏问题

在 Apache Flink 实时 JOIN 系统中，源表记录的更新往往会导致状态泄漏和结果错误。如果 domains 表的 user_id 字段发生变化，更新事件可能落入不同的 TaskManager，而旧数据并未清理。同理，主键变更也会导致下游出现重复数据，因为过时记录未被移除。

我们来拆解这些场景：

• 固定 domains.id，变更 user_id：新事件哈希到不同键，旧键状态残留。
• 同时变更 domains.id 和 user_id：创建新记录，但前一条未删除，破坏去重机制。

Flink 分布式架构与本地化分区

Flink 通过 keyBy 将数据分发到各个 TaskManager。键的哈希值决定所属容器，确保：

• 同一键的所有事件都本地化处理。
• 事件顺序得到严格保证。

哈希空间均匀分布，每个 TaskManager 负责自己的分区。如果不使用 keyBy，会退化为轮询分发，但这不适合 JOIN 操作——会丢失本地化保障。

通用的解决方案：先删后插

处理更新的核心是将 Debezium CDC 事件拆分为删除（before）和插入（after）。顺序至关重要：先按旧键删除，再按新键插入。keyBy 保证了顺序处理。

Domain 类的实现如下：

public class Domain implements Serializable {
  public Integer id;
  public Integer user_id;
  public String domain_name;
  public boolean delete;

  // getters and setters omitted

  public static Domain[] fromRow(Row row) {
        Character op = (Character) row.getField(1);

        if (op == null) {
            throw new IllegalStateException("Never should happen, if Debezium feels fine");
        }

        if (op == 'd') {
            Row before = (Row) row.getField(0);
    
            return new Domain[]{
              new Domain(before.getField(0), before.getField(1), before.getField(2), true)            };
        } else if (op == 'u') {
            Row before = (Row) row.getField(0);
            Row after = (Row) row.getField(2);
    
            return new Domain[]{
              new Domain(before.getField(0), before.getField(1), before.getField(2), true),
              new Domain(after.getField(0), after.getField(1), after.getField(2), false)
            };
        } else {
            Row after = (Row) row.getField(2);
    
            return new Domain[]{
              new Domain(after.getField(0), after.getField(1), after.getField(2), false)
            };
        }
    }
}

处理逻辑：

• 删除 ('d')：从 before 生成删除事件。
• 更新 ('u')：before 删除 + after 插入。
• 插入 ('c')：仅 from after 插入。

删除事件标记状态中记录为已移除（或直接删除），插入事件则更新记录。对于可变 JOIN 键或主键，这种机制实现了自清理状态。

此方案的核心优势

• 实时流完全支持 CRUD 操作。
• 状态无泄漏、无冗余。
• 正确处理可变 JOIN 键和主键。
• 通过 keyBy 保证顺序性。

核心要点总结

• 将更新拆分为删除+插入，彻底解决键变更时的状态泄漏。
• 先删后插是保持一致性的关键。
• Debezium 的 before/after 提供旧值访问。
• 在 Flink 分布式环境中无缝扩展。

— Editorial Team