欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

我的名字叫hadoop

程序员文章站 2023-09-29 14:09:23
欢迎您的阅读,本人微信公众号 "星际互联网中心"或者 "欢乐的马小纪" 欢迎关注 ......
 
  第一回 新入环境

  我的名字是hadoop,我一出生我的爸爸雅虎就给我取了这样一个名字:hadoop,我也不知道为什么叫这个名字,刚出生没多久,雅虎爸爸就把我领进一个黑暗的屋子里面,屋里堆满了黑色的箱子,里面出奇的冷.

我一脸懵懂,“爸爸,这是哪里?” 

  “不要着急,马上你就会明白了,听爸爸的话,进去之后要好好做事.”

  爸爸把我送到房间尽头的楼梯旁跟我说:"进去吧,爸爸回家了,在外面好好闯荡哈,吃亏是福,爸爸在家等你",说完爸爸轻轻地走了.我发呆望着爸爸.

  正当我心中还念念不忘爸爸的时候,眼神无意中滑到了楼梯旁边,我看着旁边破旧的楼梯,心想这么破的楼梯也没个人修修,楼梯上面挂着一个破旧的牌子,上面写着四个字母"sftp".这到底是什么地方,我心中念叨着.

  "hadoop 快进 磨蹭什么玩意",只听见一个凶神恶煞的门卫怒吼道.

     什么? hadoop? 不就是我吗,我赶紧顺着楼梯上了楼上的房间.

  "磨蹭什么玩意,这么多人就等你呢",旁边一个人一脸不耐烦地看着我,我没敢耽误赶紧走了进去,看样子那么多人都排着队呢,我紧挨着他们,他们和我一样胸前都挂着牌子,我仔细看着他们每个人身上牌子,"hive","flume","sqoop","azkaban"等等等.看半天没看出什么所以然来.

  "兄弟,咱们在这排队是要干什么呀?",我轻声问着前面叫flume的兄弟.

  "还能干什么,看见那一堆堆的log数据没,一会都是你要处理的",兄弟答道

  我看着那堆积如山的数据不寒而栗,忽然我耳边回响起起爸爸时常和朋友谈起的数据存储,数据计算等等关于数据的事情.难道我来就是处理这些数据的嘛.

  很快就轮到我了,我被一个粗胖的大汉拿着胶带把我打包成一个大箱子扔进了一个叫centos的地方,进去之后我从箱子里出来,观察着周围的光电闪烁,我看里面一个个人忙得手忙脚乱,他在里面手舞足蹈挥舞着指挥棒,就像一个音乐指挥家一样,我走近了瞅见了他身上的牌子,上面金光闪闪地写着CPU三个大字母,原来他是爸爸常跟我提起的*处理器,忽然他指着我说:"hadoop你过来把这一堆数据处理了,完不成马上把你kill掉"

  第二回 暂露头脚

  接收到CPU的命令以后,我一脸茫然,这么多数据我怎么可能干得完,难道只能等着被干掉?旁边挂着flume牌子的大哥看出了我的困惑,低声对我说:"这么多数据你搞不定的,你必须把自己复制几份在另几个centos服务器上面你们几个一起干活,你去问centos服务器的主人要另外几台服务器的账号密码来传输备份"

  是的,,看来只能这样了,但是那么多的hadoop在不同的服务器上面总要有一个来进行管理吧,不然干起活来岂不乱套?谁管理呢?君临天下舍我其谁,就我吧,

  我思索着,我瞅着自己身上的三个组件:

  第一个是存储文件的hdfs组件,

  第二个是调度资源的yarn组件,

  第三个是计算数据的mapreduce组件,

  hdfs文件系统角色需要有一个管理者,化名namenode,专门总体管理各个服务器上面数据吧,其他服务器上面的就叫datanode专门存储数据,我做namenode,其他datanode服从我的管理.

    yarn资源管理角色需要一个管理者,化名resourcemanager,,专门管理总资源,其他服务器上面资源管理的化名nodemanager,我做resourcemanager,其他nodemananger服从我的的管理.

    对于mapreduce数据计算这一块,就一干粗活的,就让他服从nodemanger安排吧,我就做总司令.

    哈哈,角色都安排好了,此刻我洋洋得意了,忽然想起一个问题了,怎么进行联系呢,我这个管理的总司令的命令怎么下发呢,大家都在不同的服务器上面呀,我经过一番思索,觉得我可以用HTTP或者RPC

    怎么选择呢?HTTP? HTTP协议是在传输层协议TCP之上的,而RPC就是基于传输层协议TCP的,很明显RPC更底层,那也就是说用RPC更快,OK,就用RPC联系.

      小hadoop准备工作完毕..

欢迎您的阅读,本人微信公众号 "星际互联网中心" 以及 "欢乐的马小纪"欢迎关注