在使用hive建表加载数据时,如果是一个分区,那么用alter table mytable ADD IF NOT EXISTS PARTITION(p1='p1') location 'hdfs://xxx' 或者直接用msck repair table mytable都可以将指定目录的数据加载到分区

但是对于多级目录来说,比如

  • /data/year=/month=/day=/source1/abc.log
  • /data/year=/month=/day=/source2/def.log
这种结构,如果创建表的时候分区为year,month,day,那么 可以用add partition 方式是可以加载数据到指定分区,但是msck会报错,主要原因是msck必须要目录结构满足:

/partition_name=partition_value/

且不能包含特殊字符

当多级目录时,这时候会有/特殊字符,那么可设置hive.msck.path.validation为skip或者ignore 就可以了

set hive.msck.path.validation = ignore


Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐