欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Alluxio 帮助去哪儿网酒店数据业务最高提速300x

程序员文章站 2022-06-24 22:01:56
Alluxio是分布式的数据缓存层,独立的服务,API兼容HDFS,充分利用单机的文件缓存和层次化的数据存储方式,让上层分布式应用业务访问数据可以充分享受高效缓存所带来的性能提升。去哪儿酒店业务中,混合了大数据实时处理业务类型,也有批量数据处理业务,还有既有Hive(MapReduce)作业,也有S ......

alluxio是分布式的数据缓存层,独立的服务,api兼容hdfs,充分利用单机的文件缓存和层次化的数据存储方式,让上层分布式应用业务访问数据可以充分享受高效缓存所带来的性能提升。去哪儿酒店业务中,混合了大数据实时处理业务类型,也有批量数据处理业务,还有既有hive(mapreduce)作业,也有spark批处理作业,这些应用程序之间通过数据进行衔接,作为中间数据落盘随即被读取,小文件问题,高效率的缓存和兼容统一的数据访问模式,让新老计算框架和不同的计算模式都能充分发挥性能。

Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x
Alluxio 帮助去哪儿网酒店数据业务最高提速300x

文章过长,原链接地址
微信搜索公众号【示说网】参加alluxio 2018上海 meetup 活动