最新数据湖视频 

易学课堂

1 将iceberg-hive-runtime-0.10.0.jar包添加到hive的lib包下 , 或者是在客户端使用add jar 添加到项目中 

2 设置参数  / 或者在hive-site.xml中设置

3  读取catalog为hadoop的表中的数据 , 需要完成hive表和hadoop表的映射 

SET engine.hive.enabled=true; 
SET iceberg.engine.hive.enabled=true ;
CREATE EXTERNAL TABLE tb_user2
STORED BY 'org.apache.iceberg.mr.hive.HiveIcebergStorageHandler' 
LOCATION 'hdfs://linux01:8020/doit/iceberg/warehouse/logging/tb_user2';

select * from tb_user2 ; 可以查询到存储在iceberg中的hadoop类型的数据!

4 直接切换创的类型为hive的catalog数据库 , 直接读取表中的数据  

需要设置如下参数 :

SET iceberg.mr.catalog=hive;  **** 读取生成的iceberg表中的数据 

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐