将数据插入到 Hive 分桶表中需要特别注意，直接使用 LOAD DATA 语句无法实现分桶效果。必须使用 INSERT OVERWRITE/INTO TABLE ... SELECT 语句，并确保 Hive 正确执行了分桶操作。

以下是几种核心方法和详细步骤。

---

核心方法：使用 INSERT … SELECT

这是将数据插入分桶表的标准且正确的方法。

步骤 1：创建分桶表

首先，确保你的目标表是使用 CLUSTERED BY 子句定义的分桶表。

-- 创建一个分桶表，根据 user_id 分成 4 个桶
CREATE TABLE user_info_bucketed (
    user_id INT,
    name STRING,
    email STRING
)
CLUSTERED BY (user_id) INTO 4 BUCKETS
STORED AS ORC; -- 推荐使用列式存储格式（ORC/Parquet）

步骤 2：设置必要的属性

为了强制 Hive 执行分桶操作，必须在插入数据前设置以下属性：

-- 至关重要：启用分桶执行
SET hive.enforce.bucketing = true;

-- 通常还会设置这些属性以优化重ducer数量
SET mapreduce.job.reduces = 4; -- 设置Reducer数量等于桶数，确保每个桶由一个Reducer生成
-- 或者使用更现代的设置
SET tez.grouping.max-size = 16777216; -- 调整分组大小以适应你的数据量
SET tez.grouping.min-size = 16777216;

重要提示： hive.enforce.bucketing=true 是最关键的设置。在老版本 Hive 中，如果没有这个设置，分桶不会生效，数据只会被简单地放入一个或多个文件中，而不会根据哈希值分配到指定的桶中。

步骤 3：执行插入操作

使用 INSERT OVERWRITE（覆盖）或 INSERT INTO（追加）从源表查询数据并插入到分桶表中。

-- 从普通源表插入数据到分桶表
INSERT OVERWRITE TABLE user_info_bucketed
SELECT user_id, name, email FROM user_info_source;

-- 或者追加数据
INSERT INTO TABLE user_info_bucketed
SELECT user_id, name, email FROM user_info_source;

Hive 在幕后做了什么？

1. 启动一个 MapReduce 或 Tez 作业。
2. 对 SELECT 语句的结果集中的 user_id 字段计算哈希值（Hash）。
3. 用哈希值对桶的数量（4）进行取模运算（hash_function(user_id) % 4）。
4. 根据取模的结果（0, 1, 2, 3），将每条记录发送给对应的 Reducer。
5. 每个 Reducer 将收到的数据写入到目标表 HDFS 目录下的一个文件（即一个桶）中。最终你会得到 4 个文件（000000_0, 000001_0, 000002_0, 000003_0）。

---

方法二：使用 CLUSTERED BY 和 SORTED BY

你可以在建表时指定 SORTED BY，这样每个桶内部的数据还会按照指定列排序。这对于优化 SORT-MERGE-BUCKET-JOIN 非常有用。

建表：

CREATE TABLE user_info_bucketed_sorted (
    user_id INT,
    name STRING,
    email STRING
)
CLUSTERED BY (user_id) SORTED BY (user_id) INTO 4 BUCKETS
STORED AS ORC;

插入数据：
插入语句完全相同。设置 hive.enforce.bucketing=true 后，Hive 会自动处理排序。

SET hive.enforce.bucketing = true;
INSERT OVERWRITE TABLE user_info_bucketed_sorted
SELECT user_id, name, email FROM user_info_source;

---

方法三：从另一个分桶表插入

如果源表本身也是分桶表，并且是按照相同的键和相同数量的桶（或倍数关系） 进行分桶的，Hive 可以优化这个过程，可能避免一次完整的 Shuffle。

-- 假设 source_bucketed_table 也是用 user_id 分了 4 个桶
SET hive.enforce.bucketing = true; -- 最好还是保留
INSERT OVERWRITE TABLE user_info_bucketed
SELECT * FROM source_bucketed_table;

---

验证分桶是否成功

插入完成后，如何确认分桶真的生效了？

1. 检查 HDFS 文件结构：
   连接到目标表的 HDFS 目录，你应该看到多个数据文件，数量等于或等于桶数的倍数（取决于并行度）。

   hdfs dfs -ls /user/hive/warehouse/my_db.db/user_info_bucketed
   # 输出类似：
   # Found 4 items
   # -rw-r--r-- ... 000000_0
   # -rw-r--r-- ... 000001_0
   # -rw-r--r-- ... 000002_0
   # -rw-r--r-- ... 000003_0
   

   如果只有一个或很少的大文件，说明分桶可能没有正确生效。

2. 抽样查询：
   使用 TABLESAMPLE 子句进行抽样，这是分桶表的一大优势。

   -- 随机抽样一个桶的数据
   SELECT * FROM user_info_bucketed TABLESAMPLE(BUCKET 1 OUT OF 4 ON user_id);
   

   如果这个查询很快返回了大约 1/4 的数据，说明分桶是成功的。

3. 检查数据分布（高级验证）：
   可以写一个查询来验证每个桶里有多少数据，理论上应该比较均匀。

   SELECT
     INPUT__FILE__NAME, -- 查看文件名（对应桶号）
     COUNT(1)           -- 统计每个文件中的记录数
   FROM
     user_info_bucketed
   GROUP BY
     INPUT__FILE__NAME;
   

---

总结与关键点

操作	说明	是否推荐
INSERT ... SELECT	正确且标准的方法。必须设置 hive.enforce.bucketing=true。	✅ 强烈推荐
LOAD DATA INPATH ...	错误的方法。只会移动文件，不会触发分桶计算，数据不会分布到各个桶中。	❌ 绝对禁止

核心步骤牢记于心：

1. 建表：使用 CLUSTERED BY ... INTO N BUCKETS。
2. 设置属性：SET hive.enforce.bucketing = true;（最关键的一步）。
3. 插入数据：使用 INSERT OVERWRITE/INTO TABLE ... SELECT ...。
4. 验证：检查 HDFS 文件数量或使用 TABLESAMPLE 抽样。