一、trancelate函数

函数用法

translate(input,from,to)

• input：输入字符串
• from：需要匹配的字符
• to ：用哪些字符来替换被匹配到的字符

注意点：这里from的字符与to字符在位置上存在一 一对应关系，也就是from中每个位置上的字符用to中对应位置的字符替换。

场景1：from 和 to 长度一样，如translate("abcdef-abcdef","abcdef","123456");替换不是说把"abcdef"替换成"123456"，而是把a替换成1，把b替换成2，把c替换成3，把d替换成4，e替换成5，f替换成6

select translate('abcdef-abcdef', 'abcd', '1234'),--1234ef-1234ef
       translate('abcdef-abcdef', 'ab', '12'),    --12cdef-12cdef
       translate('abcdef-abcdef', 'ad', '14'),    --1bc4ef-1bc4ef
       translate('abcdef-abcdef', 'da', '41');--1bc4ef-1bc4ef

场景2：from 字符串长度>to的字符串长度 ，例如translate('abcdef-abcdef','adbc','123')    意思是把 a替换为1，b替换为2，c替换为3，d替换为空，即删除掉。

select translate('abcdef-abcdef', 'abcd', '123'), --123ef-123ef
       translate('abcdef-abcdef', 'adbc', '123'); --132ef-132ef

场景3:  如果 from里有重复字符 比如abca，1231，重复的字符a对应to的替换不会起作用

select TRANSLATE ('abcdaabbaaabbb','aa','12')--1bcd11bb111bbb 

参考：hive translate()函数的使用 - 码农教程本文章向大家介绍hive translate()函数的使用，主要包括hive translate()函数的使用使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。http://www.manongjc.com/detail/28-dcfrkzcexnubhdq.html

二、tranceform函数

Hive 的 TRANSFORM 关键字提供了在 SQL 中调用自写脚本的功能。适合实现 Hive 中没有的 功能又不想写 UDF 的情况

具体以一个实例讲解。

Json 数据： {"movie":"1193","rate":"5","timeStamp":"978300760","uid":"1"}

需求：把 timestamp 的值转换成日期编号

1、先加载 rating.json 文件到 hive 的一个原始表 rate_json

create table rate_json(line string) row format delimited;
load data local inpath '/home/hadoop/rating.json' into table rate_json;

2、创建 rate 这张表用来存储解析 json 出来的字段：

create table rate(movie int, rate int, unixtime int, userid int) row format delimited fields
terminated by '\t';

解析 json，得到结果之后存入 rate 表：

insert into table rate select
get_json_object(line,'$.movie') as moive,
get_json_object(line,'$.rate') as rate,
get_json_object(line,'$.timeStamp') as unixtime,
get_json_object(line,'$.uid') as userid
from rate_json;

3、使用 transform+python 的方式去转换 unixtime 为 weekday

先编辑一个 python 脚本文件

########python######代码
## vi weekday_mapper.py
#!/bin/python
import sys
import datetime
for line in sys.stdin:
 line = line.strip()
 movie,rate,unixtime,userid = line.split('\t')
 weekday = datetime.datetime.fromtimestamp(float(unixtime)).isoweekday()
 print '\t'.join([movie, rate, str(weekday),userid])

保存文件 然后，将文件加入 hive 的 classpath：

hive>add file /home/hadoop/weekday_mapper.py;
hive> insert into table lastjsontable select transform(movie,rate,unixtime,userid)
using 'python weekday_mapper.py' as(movie,rate,weekday,userid) from rate;

创建最后的用来存储调用 python 脚本解析出来的数据的表：lastjsontable

create table lastjsontable(movie int, rate int, weekday int, userid int) row format delimited
fields terminated by '\t';

最后查询看数据是否正确

select distinct(weekday) from lastjsontable;

参考：https://www.cnblogs.com/qingyunzong/p/8746159.html#_label2_3

注意：如果脚本不是Python，而是awk、sed等系统内置命令，可以直接使用，而不用add file