欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Hive动态分区

程序员文章站 2022-07-06 10:47:25
...

提高查询和检索的性能

开启支持动态分区

set hive.exec.dynamic.partition=true;	
默认:false

set hive.exec.dynamic.partition.mode=nostrict;
默认:strict(至少有一个分区列是静态分区)

相关参数:

set hive.exec.max.dynamic.partitions.pernode;
每一个执行mr节点上,允许创建的动态分区的最大数量(100)

set hive.exec.max.dynamic.partitions;
所有执行mr节点上,允许创建的所有动态分区的最大数量(1000)

set hive.exec.max.created.files;
所有的mr job允许创建的文件的最大数量(100000)

创建动态分区

1、首先创建一个静态分区表

create table psn23(
id int,
name string,
likes array <string>,
address map < string,string >
)
partitioned by(sex string, age int)   //定义静态分区表
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':';

2、插入数据的时候 需要 写明 distribute 这个

from psn22
insert overwrite table psn23 partition(age,sex)
select id,name,likes,address,sex,age distribute by age,sex;
相关标签: Hive