大数据之路

一、总述

数据有序、有结构地分类和存储，从而产生价值。

​ 实时：数据量大，要实时、准确

​ 离线：采集、存储、计算

数据模型、数据研发、数据质量和运维保障工作

难点：

  • 高效的数据模型和体系，数据易用，避免重复建设和不一致性，数据的规范性
  • 高效的数据开发工具，数据质量保障
  • 管理和控制存储和计算消耗
  • 数据服务的稳定和性能

数据体系：

请添加图片描述

1. 数据采集

日志采集体系：

  • Web端日志采集技术
  • APP端日志采集技术
  • 各个场景的埋点

数据传输体系：

  • 数据传输包括增量数据传输、日志数据传输
  • 支持实时流式计算、各种时间窗口的批量计算
  • 数据同步装置连异构数据库抽取时间窗口的数据

2. 数据计算

为了构建统一、规范、可共享的数据，建立两大体系：

  • 数据存储及计算云平台
  • 数据整合及管理体系

数据计算频率来看：

  • 离线数据仓库：数据计算频率以天（小时、周、月），如T-1，每天凌晨处理上一天的数据
  • 实时数据仓库：实时处理

分层理念：

  • 操作数据层 Operation Data Store
  • 明细数据层 Data Warehouse Detail
  • 汇总数据层 Data Warehouse Summary
  • 应用数据层 Application Data Store

元数据模型整合：

  • 数据源元数据
  • 数据仓库元数据
  • 数据链路元数据
  • 工具类元数据
  • 数据质量元数据

3. 数据服务

接口服务化方式对外提供数据服务。针对不同的需求，构建在多种数据库之上。

可以使应用对底层数据存储透明，把海量数据高效的提供出去

4. 数据应用

数据最大化发挥价值：搜索、推荐、广告等

# big data # 数据仓库 # 数据分析
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

deck.gl TripsLayer 出租车轨迹动画示例实战：从示例运行到着色器原理

TripsLayer 是 deck.gl 中用于渲染**随时间流动的轨迹动画**（如出租车行程、物流路径、迁徙路线）的核心图层。本文以仓库中的最小独立示例 [examples/website/trips](https://link.gitcode.com/i/1442af8f442f4cff39ff546e050fceb5) 为骨架，带你完成从安装依赖、启动应用、理解曼哈顿出租车数据格式，到深入

avatar 天工造物局

Foundry Anvil 中 eth_simulateV1 的 Blob 交易与 Blob Gas 字段规范化：原理、实现与测试验证

本篇技术指南以 [anvil-simulate-blob-transactions.md](https://link.gitcode.com/i/3d2ebe227262de169335eb290af80da8) 这条 changelog 条目为起点，深入剖析 Foundry Anvil 对 `eth_simulateV1` RPC 返回结果中 blob（EIP-4844）交易与 blob gas

avatar 天工造物局

LMCache CLI 实战：用 `lmcache kvcache clear` 管理运行中服务的 KV Cache 状态

本文是一份针对 LMCache 官方 CLI 命令 `lmcache kvcache` 的完整技术指南。该命令用于在**运行中的 LMCache 服务（MP HTTP server）**上管理 KV cache 状态，当前提供 `clear` 子命令，用于清空 L1（CPU 内存）层中缓存的全部 KV 数据。读完本文，你将掌握该命令的完整参数体系、退出码语义、终端/JSON/静默三种输出模式，并能

avatar 天工造物局