hive插入动态分区报错

在hive中插入动态分区时报错：

Error during job, obtaining debugging information…
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
在这里插入图片描述

原因

创建的动态分区数超过节点默认允许创建的最大动态分区数，超过了总共默认允许创建的最大动态分区数。

解决办法

hive> set hive.exec.max.dynamic.partitions=50000;
hive> set hive.exec.max.dynamic.partitions.pernode=10000;

动态分区的相关配置

insert往分区表插入数据时，我们可以指定分区字段名和值，分区字段的值是可选的，如果指定分区字段值，我们称之为静态分区，否则称之为动态分区，动态分区创建根据数据的列决定。在Hive 0.9.0版本以前，动态分区插入默认是关闭的，在Hive 0.9.0版本及更高版本，默认是打开的。关于动态分区插入，有几个相关的配置：

参数默认值说明
hive.exec.dynamic.partitiontrue设置为true表示启用动态分区插入
hive.exec.dynamic.partition.modestrictstric模式时用户必须至少指定一个静态分区；nonstric模式时所有分区都可能是动态分区
hive.exec.max.dynamic.partitions.pernode100每个mapper/reducer节点允许创建的最大动态分区数
hive.exec.max.dynamic.partitions1000总共允许创建的最大动态分区数
hive.exec.max.created.files100000一个MR job中允许创建多少个HDFS文件
hive.error.on.empty.partitionfalse当动态分区插入产生空值时是否抛出异常
# hive # 大数据 # hadoop
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

deck.gl TripsLayer 出租车轨迹动画示例实战：从示例运行到着色器原理

TripsLayer 是 deck.gl 中用于渲染**随时间流动的轨迹动画**（如出租车行程、物流路径、迁徙路线）的核心图层。本文以仓库中的最小独立示例 [examples/website/trips](https://link.gitcode.com/i/1442af8f442f4cff39ff546e050fceb5) 为骨架，带你完成从安装依赖、启动应用、理解曼哈顿出租车数据格式，到深入

avatar 天工造物局

Foundry Anvil 中 eth_simulateV1 的 Blob 交易与 Blob Gas 字段规范化：原理、实现与测试验证

本篇技术指南以 [anvil-simulate-blob-transactions.md](https://link.gitcode.com/i/3d2ebe227262de169335eb290af80da8) 这条 changelog 条目为起点，深入剖析 Foundry Anvil 对 `eth_simulateV1` RPC 返回结果中 blob（EIP-4844）交易与 blob gas

avatar 天工造物局

LMCache CLI 实战：用 `lmcache kvcache clear` 管理运行中服务的 KV Cache 状态

本文是一份针对 LMCache 官方 CLI 命令 `lmcache kvcache` 的完整技术指南。该命令用于在**运行中的 LMCache 服务（MP HTTP server）**上管理 KV cache 状态，当前提供 `clear` 子命令，用于清空 L1（CPU 内存）层中缓存的全部 KV 数据。读完本文，你将掌握该命令的完整参数体系、退出码语义、终端/JSON/静默三种输出模式，并能

avatar 天工造物局