Facebook的Hadoop和AvatarNode集群方案简介

facebook作为全球知名的社交网站，拥有超过3亿的活跃用户，其中约有3千万用户至少每天更新一次自己的状态;用户每月总共上传10亿余张照片、1千万个视频;以及每周共享10亿条内容，包括日志、链接、新闻、微博等。因此facebook需要存储和处理的数据量是非常巨大的，每天新增加4tb压缩后的数据，扫描135tb大小的数据，在集群上执行hive任务超过7500次，每小时需要进行8万次计算，所以高性能的云平台对facebook来说是非常重要的，而facebook主要将hadoop平台用于日志处理、推荐系统和数据仓库等方面。

facebook将数据存储在利用hadoop/hive搭建的数据仓库上，这个数据仓库拥有4800个内核，具有5.5pb的存储量，每个节点可存储12tb大小的数据，同时，它还具有两层网络拓扑。facebook中的mapreduce集群是动态变化的，它基于负载情况和集群节点之间的配置信息可动态移动。

facebook的数据仓库架构，在这个架构中，网络服务器和内部服务生成日志数据，这里facebook使用开源日志收集系统，它可以将数以百计的日志数据集存储在nfs服务器上，但大部分日志数据会复制到同一个中心的hdfs实例中，而hdfs存储的数据都会放到利用hive构建的数据仓库中。hive提供了类sql的语言来与mapreduce结合，创建并发布多种摘要和报告，以及在它们的基础上进行历史分析。hive上基于浏览器的接口允许用户执行hive查询。oracle和mysql数据库用来发布这些摘要，这些数据容量相对较小，但查询频率较高并需要实时响应。一些旧的数据需要及时归档，并存储在较便宜的存储器上。

下面介绍facebook在avatarnode和调度策略方面所做的一些工作。avatarnode主要用于hdfs的恢复和启动，若hdfs崩溃，原有技术恢复首先需要花10～15分钟来读取12gb的文件镜像并写回，还要用20～30分钟处理来自2000个datanode的数据块报告，最后用40～60分钟来恢复崩溃的namenode和部署软件。表3-1说明了backupnode和avatarnode的区别，avatarnode作为普通的namenode启动，处理所有来自datanode的消息。avatardatanode与datanode相似，支持多线程和针对多个主节点的多队列，但无法区分原始和备份。人工恢复使用avatarshell命令行工具，avatarshell执行恢复操作并更新zookeeper的znode，恢复过程对用户来说是透明的。分布式avatar文件系统实现在现有文件系统的上层。

基于位置的调度策略在实际应用中存在着一些问题：如需要高内存的任务可能会被分配给拥有低内存的tasktracker;cpu资源有时未被充分利用;为不同硬件的tasktracker进行配置也比较困难等。facebook采用基于资源的调度策略，即公平享有调度方法，实时监测系统并收集cpu和内存的使用情况，调度器会分析实时的内存消耗情况，然后在任务之间公平分配任务的内存使用量。它通过读取/proc/目录解析进程树，并收集进程树上所有的cpu和内存的使用信息，然后通过taskcounters在心跳(heartbeat)时发送信息。

facebook的数据仓库使用hive，这里hdfs支持三种文件格式：文本文件(textfile)，方便其他应用程序读写;顺序文件(sequencefile)，只有hadoop能够读取并支持分块压缩;rcfile，使用顺序文件基于块的存储方式，每个块按列存储，这样有较好的压缩率和查询性能。facebook未来会在hive上进行改进，以支持索引、视图、子查询等新功能。

现在facebook使用hadoop遇到的挑战有：

服务质量和隔离性方面，较大的任务会影响集群性能;

安全性方面，如果软件漏洞导致namenode事务日志崩溃该如何处理;

数据归档方面，如何选择归档数据，以及数据如何归档;

性能提升方面，如何有效地解决瓶颈等。

解决namenode顽疾

google在2004年创造了mapreduce，mapreduce系统获得成功的原因之一是它为编写需要大规模并行处理的代码提供了简单的编程模式。mapreduce集群可包括数以千计的并行操作的计算机。同时mapreduce允许程序员在如此庞大的集群中快速的转换数据并执行数据。它受到了lisp的函数编程特性和其他函数式语言的启发。mapreduce和云计算非常相配。mapreduce的关键特点是它能够对开发人员隐藏操作并行语义 — 并行编程的具体工作方式。

hdfs（hadoop distributed filesystem）是专为mapreduce框架而下大规模分布式数据处理而设计的，hdfs可将大数据集（tb级）存储为单个文件，而大多文件系统并不具备这样的能力。（编者注：ntfs5 max files on volume：264 bytes (16 exabytes) minus 1kb，1eb = 1,000,000 tb）。这也是hdfs风靡全球的重要原因。

目前facebook hadoop集群内的hdfs物理磁盘空间承载超过100pb的数据（分布在不同数据中心的100多个集群）。由于hdfs存储着hadoop应用需要处理的数据，因此优化hdfs成为facebook为用户提供高效、可靠服务至关重要的因素。

hdfs namenode是如何工作的？

hdfs客户端通过被称之为namenode单服务器节点执行文件系统原数据操作，同时datanode会与其他datanode进行通信并复制数据块以实现冗余，这样单一的datanode损坏不会导致集群的数据丢失。

但namenode出现故障的损失确是无法容忍的。namenode主要职责是跟踪文件如何被分割成文件块、文件块又被哪些节点存储，以及分布式文件系统的整体运行状态是否正常等。但如果namenode节点停止运行的话将会导致数据节点无法通信，客户端无法读取和写入数据到hdfs，实际上这也将导致整个系统停止工作。

the hdfs namenode is a single point of failure (spof)

facebook也深知“namenode-as-spof”所带来问题的严重性，所以facebook希望建立一套系统已破除“namenode-as-spof”带来的隐患。但在了解这套系统之前，首先来看一下facebook在使用和部署hdfs都遇到了哪些问题。

facebook数据仓库的使用情况

在facebook的数据仓库中部署着最大的hdfs集群，数据仓库的使用情况是传统的hadoop mapreduce工作负载——在大型集群中一小部分运行mapreduce批处理作业

因为集群非常庞大，客户端和众多datanode节点与namenode节点传输海量的原数据，这导致namenode的负载非常沉重。而来自cpu、内存、磁盘和网络带来的压力也使得数据仓库集群中namenode高负载状况屡见不鲜。在使用过程中facebook发现其数据仓库中由于hdfs引发的故障占总故障率的41%。

hdfs namenode是hdfs中的重要组成部分，同时也是整个数据仓库中的重要组成部分。虽然高可用的namenode只可以预防数据仓库10%的计划外停机，不过消除namenode对于spof来说可谓是重大的胜利，因为这使得facebook可执行预订的硬件和软件回复。事实上，facebook预计如果解决namenode可消除集群50%的计划停机时间。

那么高可用性namenode是什么样子的？它将如何工作？让我们来看一下高度可用性namenode的图表。

在此结构中，客户端可与primary namenode与standby namenode通信，同样众多datanode

也具备给primary namenode与standby namenode发送block reports的能力。实质上facebook所研发的avatarnode就是具备高可用namenode的解决方案。

avatarnode：具备namenode故障转移的解决方案

为了解决单namenode节点的设计缺陷，大约在两年前facebook开始在内部使用avatarnode工作。

同时avatarnode提供了高可用性的namenode以及热故障切换和回滚功能，目前facebook已经将avatarnode贡献到了开源社区。经过无数次的测试和bug修复，avatarnode目前已在facebook最大的hadoop数据仓库中稳定运行。在这里很大程度上要感谢facebook的工程师dmytro molkov。

当发生故障时，avatarnode的两个高可用namenode节点可手动故障转移。avatarnode将现有的namenode代码打包并放置在zookeeper层。

avatarnode的基本概念如下：

1.具备primary namenode与standby namenode

2.当前master主机名保存在zookeeper之中

3.改进的datanode发送block reports到primary namenode与standby namenode

4.改进的hdfs客户端将在每个事物开始之前对zookeeper进行检查，如果失败会转移到另外的事务之中。同时如果avatarnode故障转移出现在写入的过程中，avatarnode的机制将允许保证完整的数据写入。

avatarnode客户端

avatarnode datanode

或许有人会facebook这一解决方案的名字感到好奇，这是因为facebook的hadoop工程师dhruba borthakur来到公司时正好是james cameron《阿凡达》电影热映时间。（我们应该感到庆幸，如果是1998年的话或许应该叫titanicnode了）。

avatarnode经受住了facebook内部最苛刻的工作环境，未来facebook将继续大幅度改善avatarnode的可靠性和hdfs集群的管理性。并整合与一般高可用性框架的整合，还将实现无人值守、自动化与安全故障转移等特性。

facebook已将自身使用的hadoop与avatarnode解决方案托管到github。感兴趣的朋友可下载研究。

当然不止facebook在试图解决hadoop的缺陷，mapr和cloudera的产品也具备相似的能力。