欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Hive的分桶表和分区表

程序员文章站 2022-06-23 14:50:40
定义:分区表:根据某一个字段的值,将表数据分到不同的文件夹分桶表:根据某一个字段的hashcode,将表数据分到多个文件中。区别分区针对的是数据的存储路径,分桶针对的是数据文件。分区提供一个隔离数据和优化查询的便利方式。分桶是将数据集分解成更容易管理的若*分的另一个技术。为什么要分桶?1,更快,桶为表加上额外结构,链接相同列划分了桶的表,可以使用map-side join更加高效。2,取样sampling更高效。没有分区的话需要扫描整个数据集。......

定义:

分区表:根据某一个字段的值,将表数据分到不同的文件夹
分桶表:根据某一个字段的hashcode,将表数据分到多个文件中。

区别

分区针对的是数据的存储路径,分桶针对的是数据文件。

分区提供一个隔离数据和优化查询的便利方式。

分桶是将数据集分解成更容易管理的若*分的另一个技术。

为什么要分桶?

1,更快,桶为表加上额外结构,链接相同列划分了桶的表,可以使用map-side join更加高效。

2,取样sampling更高效。没有分区的话需要扫描整个数据集。

本文地址:https://blog.csdn.net/weixin_43648241/article/details/108997580

相关标签: Hive