大数据及Hadoop的概述

一、大数据存储和计算的各种框架即工具

　　1.存储：hdfs：分布式文件系统

　　　　　   hbase：分布式数据库系统

　　　　　   kafka：分布式消息缓存系统

　　2.计算：mapreduce：离线计算框架

　　　　　   storm：实时流式计算

　　　　　   spark：离线批处理/实时流处理计算框架（mr的二次封装）

　　3.辅助类工具：hive：数据仓库工具

　　　　　　　　   flume：数据采集工具

　　　　　　　　   sqoop：数据迁移工具

 

二、大数据应用场景：

　　典型应用：公司运营情况 =>典型网站：cnzz、数据专家、友盟

　　电商广告推荐系统：淘宝、京东、苏宁

　　　　大量基于算法模型的运算，得出各种推荐结论

　　天气预报等。。。

 

三、hadoop的概述

　　hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用层的故障，从而在计算机集群之上提供高可用性服务，每个计算机都可能容易出现故障。

　　hadoop中单个核心组件：

　　　　分布式文件系统：hdfs =>实现存储在多台服务器之上

　　　　分布式运行编程框架：mapreduce=>实现在很多太机器的分布式并行计算框架

　　　　分布式资源调度平台：yarn=>帮助我们调度大量mr任务，并合理分配运算资源