hadoop2和hadoop3有哪些不同,hadoop高可用搭建步骤

hadoop2和hadoop3有哪些不同,hadoop高可用搭建步骤

vim$HADOOP_HOME/etc/hadoop/workers删除原有内容，添加slave1slave2注意：这里hadoop3和hadoop2的配置不同，hadoop2中的配置文件是slaves，3中的配置文件已修改为workersha。Hadoop1和Hadoop2的区别还是一样的。 非常大，HDFS和MR不同，最小配置文件也不同。 对于项目应用，建议尝试使用更高版本。 如果它更强大，它将比最高版本稍低一些。

大数据入门系列基础系列中Ambari版本的hadoop集群（1,3,4节点）（在线或离线）的详细部署和搭建。大数据入门系列基础系列中hadoop生态系统的初步了解可以参见我在下面写的微信公众号博文https://mp.weixiHadoop2.x-DatanoderesourceisnotdedicatedtoMap减少，我们可以将它用于其他应用程序。 Hadoop3.x-这里的数据节点资源也可用于其他应用程序。 2.13MRAPI兼容性hadoo

hadoop3.0[GA版本]集群安装与hadoop2.xcluster安装存在一些差异。 通过对比发现，除了yarninhadoop3.x中添加的可定义资源外，[Hadoop3.0:YARNResource自定义资源配置说明http://aHadoop3.x-它支持所有以前的以及MicrosoftAzureDataLake文件系统。 12.Datanode资源Hadoop2.x-Datanode资源不是专用于MapReduce，我们可以将它用于其他应用程序

Hadoop2.x-HDFS的存储空间开销为200%。 Hadoop3.x-存储开销仅50%。 7.存储开销示例Hadoop2.x-如果有6个块，那么由于采用复制方案（Scheme），就会有181：Hadoop2.0有了新的HDFSHA机制，并且HA增加了standbynamenode进行热备份，解决了1.0的单点失效问题。 2：Hadoop2.0增加了HDFS联邦，解决了HDFS的水平可扩展性问题。

3.Hadoop重新编译。Hadoop官方一般都会提供对应版本的安装包。一般情况下，不需要自己编译。但是，由于官方编译的Hadoop安装包没有提供C程序访问的接口，所以在使用Native库时（nativeHadoop2.x-inhadoop2.x的一些默认端口是针对linux的）临时端口范围，当服务启动时，可能无法绑定导致启动失败。在Hadoop3.x-3.x中，这些端口被移出临时端口范围