简述hadoop的架构及特点,hadoop集群架构

简述hadoop的架构及特点,hadoop集群架构

Hadoop架构由三个核心模块组成：HadoopUniversal、HadoopYARN、HadoopHDFS和HadoopMapReduce。 那么，我们来看看这三个核心模块：1.ClusterResourceManager-YARNYARN主要包含三个模块。Hadoop的核心功能特性主要包括：1.分布式架构，可以处理非常大量的数据。 ，可以实现数据性能的线性扩展。 2.多租户环境使得多个用户可以一起处理数据，并且数据不需要频繁

1.1Hadoop概念：Hadoop是由Apache基金会开发的分布式系统基础设施。 它基于Google发布的GFS（GoogleFileSystem）论文。 优点：1.可以分发大量数据3.有分析和改进大型应用系统架构的能力，有快速排查系统瓶颈的能力；4.精通Linux，熟练使用shell、python等脚本语言，可以编写自动化运维工具；5.有H

目前的商业虚拟机都采用分代收集算法，根据对象的不同生命周期将内存分成若干块。一般Java堆API分为新生代和老生代，然后根据每一代的特点使用最合适的收集。 算法。 在新一代中，每个垃圾收集1.2Hadoop特性1.2.1Hadoop特性高可用性Hadoop的底层维护着相同数据的多个副本。即使Hadoop的一个计算元件或存储出现问题，也不会导致数据损坏。 丢失的。 高可扩展性在集群之间分配任务数量

≥▽≤ (2)低成本(Economical)：数据可以通过由普通机器组成的服务器集群来分发和处理。这些服务器集群可以达到数千个节点。 3）高效：通过分布式计算程序，Hadoop可以在数据所在的节点上运行（Hadoop的特点1.高可靠性：Hadoop在底层保持多个副本。即使Hadoop计算单元或存储出现故障，也不会导致数据丢失。2.高扩展性：在集群之间分配任务数据可以轻松扩展