hive explode函数使用异常,数据不准(丢失)
·
hive sql 异常:
Can not find rkm_bdp_analyse.rkm_ap_aigc_hit_rule_s_detail in genColumnStatsTask

分析:
日志报错显示表找见的问题,但是通过desc , show create table 发现表可以找见表,
最后发现这样一个问题,genColumnStatsTask ,;
查询后发现, genColumnStats,查找后发现这个是和数据统计相关,不是在找不见表的问题,而是数据统计不支持 explode 函数的存在导致
解决: 关闭数据 set hive.stats.autogather=false; 解决
但是引入第二个问题,发现多个union all 的情况下,只存在最后端select 数据
最后发现排查,关闭也mapjoin 解决,set hive.auto.convert.join=false;
更多推荐
所有评论(0)