文章目录

hdfs

namenode
metadata
存在硬盘
secondnode
datanode
自动同步,同步3份。
小文件合并,需解压?
文件压缩,解压
文件元数据

shuffle
block
对象序列号?

多源数据,整合进hdfs?可能?how?

定时批处理脚本?
hdfs目录权限管理?用户权限,增删改查权限?
hdfs api细节

即时查询?不适合

partition

hive查询,

数据倾斜

未完待续。。

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐