在大数据的实时计算场景中，为了确保业务结果的实时展现，我们都希望数据源从生成开始就能第一时间到达流式计算引擎的过程中，但是现实存在诸多不稳因素，例如网络环境异常、数据源端系统故障等等，导致数据到达流式计算引擎时就已经比生成这条数据的业务时间晚了一些。

        Event time 叫事件时间，Process time叫数据的处理时间。比如你在一个网页中点击了一个按钮产生了一条上网行为日志，这条日志数据生成的时间就叫event time，而这条数据通过网络传输到你的大数据系统开始被你的流式计算引擎计算的时间就是这条数据的process time；这两个时间在现实场景中一般都会有一定的时间差，process time 大于等于 event time；为了保证数据处理的及时性同时兼顾数据价值的有效性，业务一般会要求对在一定时间范围内迟到的数据给予一定的宽容度，允许数据从生成到进入计算引擎这个过程中可以有5分钟的迟到时间，超出该时间晚到的数据计算引擎会将其抛弃，这种根据数据的event time和数据的process time时间差来判断当前数据是否被纳入计算的方案就叫watermark。watermark使用起来也非常的简单，在代码开发过程中我们只需要通过将业务数据中能够体现event time的字段设置为watermark字段，然后再增加一个允许迟到的时间阈值参数，那么这个watermark功能就算设置成功。

# 大数据
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

graphify 视频音视频转写全流程解析：从 detect 结果到知识图谱文档的 Step 2.5

graphify 的核心能力是把任意语料（代码、文档、PDF、图片）转化为可查询的知识图谱，而视频与音频文件无法被直接阅读，必须先把它们转写成文本。本文围绕 `graphify` 运行手册中的转写参考文档 [transcribe.md](https://link.gitcode.com/i/d3285781588e0f1b84886dfdbc4fe7f6)，完整讲解 "Step 2.5 - Tra

avatar 天工造物局

ML-For-Beginners 终章：经典机器学习在金融、医疗、零售等八大行业中的真实落地场景

本篇技术指南基于开源课程仓库 ML-For-Beginners 的收尾课程《Postscript: Machine learning in the real world》（对应仓库目录 [9-Real-World/1-Applications](https://link.gitcode.com/i/6b23002df80861c20abf34d7db63ef41)）编写。该课此前 11 周的教学带

avatar 天工造物局

graphify 知识图谱查询实战：query / path / explain 与可审计的答案闭环

本指南以 graphify 的 Trae 版查询技能参考（[graphify/skills/trae/references/query.md](https://link.gitcode.com/i/72a7875d46ec6d3706d31791f3cdcbe0)）为主体，系统讲解如何针对**已构建好的知识图谱**执行三类查询：语义相关节点遍历（query）、两概念间最短路径（path）、单节点关

avatar 天工造物局