📜  纱线

📅  最后修改于: 2020-12-03 01:41:14             🧑  作者: Mango

什么是纱

另一个资源管理器将编程提升到Java以外的新高度,并使之具有交互性,以使另一个应用程序Hbase,Spark等可以在其上工作。不同的Yarn应用程序可以共存于同一群集上,因此MapReduce,Hbase,Spark都可以同时运行可带来可管理性和群集利用率的巨大优势。

纱的组成

  • 客户端:用于提交MapReduce作业。
  • 资源管理器:管理整个集群中资源的使用
  • 节点管理器:用于启动和监视集群中计算机上的计算机容器。
  • Map Reduce Application Master:检查运行MapReduce作业的任务。应用程序主服务器和MapReduce任务在由资源管理器安排并由节点管理器管理的容器中运行。

Jobtracker和Tasktracker在Hadoop的早期版本中使用,负责处理资源和检查进度管理。但是,Hadoop 2.0具有资源管理器和NodeManager来克服Jobtracker和Tasktracker的不足。

纱的好处

  • 可伸缩性: Map Reduce 1达到了4000个节点和40000个任务的可伸缩性瓶颈,但是Yarn设计用于10,000个节点和10万个任务。
  • 用途:节点管理器管理资源池,而不是管理固定数量的指定插槽,从而提高了利用率。
  • 多租户:不同版本的MapReduce可以在YARN上运行,这使MapReduce的升级过程更易于管理。