在用flink sql在做实时数仓,架构大概是kafka关联hbase维表,然后写入clickhouse。hbase维表是频繁变化的

现在遇到的几个比较棘手的问题:

  • 1、自己在实现AsyncTableFunction做异步io的时候,发现性能还是不够。后来就加入本地缓存,但是缓存一致性出现问题,不知道该如何解决
  • 2、写入hbase的时候,是批量写的,无法保证有序,维表频繁变化的话,顺序不对,会造成结果有问题
  • 3、hbase维表,可能5s后才会更新,但是此时kafka数据流已经过去了,关联的数据都是空

不知道,针对上面的场景,有什么好的解决思路或者方案?

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐