使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群 - Powered by Discuz! Archiver

首页 › Linux服务器论坛 › 使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群

华闪之歌 發表於 2023-11-23 00:00:00

使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群

<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/dec8648647a0ae822204cf690f14f009.jpg" width="auto"></p>
<h3>
大数据常用技术词汇</h3>
<p>
</p>
<p>
未来的竞争，是数据之争。大数据本质上是Hadoop的生态群，下面是常用技术词汇</p>
<ul>
<li>
ETL：代表提取、转换和加载。</li>
<li>
Hadoop：分布式系统基础架构</li>
<li>
HDFS：分布式文件系统</li>
<li>
HBase：大数据的NoSQL数据库</li>
<li>
Hive：数据仓库工具</li>
<li>
DAG ：第二代计算引擎</li>
<li>
Spark：第三代数据处理引擎</li>
<li>
Flink：第四代数据处理引擎</li>
<li>
MapReduce：最初的并行计算框架</li>
<li>
Sqoop：nosql数据库和传统数据库之间传输数据的工具</li>
<li>
Hive：数据仓库工具</li>
<li>
Storm：分布式实时计算系统</li>
<li>
Flume：分布式的海量日志采集系统。</li>
<li>
Kafka：分布式发布订阅消息系统</li>
<li>
ElasticSearch：分布式搜索引擎</li>
<li>
Kibana：ElasticSearch大数据的图形化展示工具</li>
<li>
Logstash：Elasticsearch 的传送带</li>
<li>
Neo4j：nosql图形数据库</li>
<li>
Oozie：工作流调度系统 -YARN：作业调度和集群资源管理的框架</li>
</ul>
<h3>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/f6bf8ab397eae850cfb1c68939d8781d.jpg" width="auto">
</h3>
<h3>
Hadoop集群</h3>
<p>
</p>
<p>
大数据是基于集群的分布式系统。所谓集群是指一组独立的计算机系统构成的一多处理器系统，它们之间通过网络实现进程间的通信，让若干台计算机联合起来工作(服务)，可以是并行的，也可以是做备份。</p>
<ul>
<li>
分布式：分布式的主要工作是分解任务，将职能拆解，多个人在一起做不同的事</li>
<li>
集群：集群主要是将同一个业务，部署在多个服务器上，多个人在一起做同样的事</li>
</ul>
<h3>
Hadoop介绍</h3>
<p>
</p>
<p>
Hadoop是Apache旗下的一个用Java语言实现开源软件框架，是一个存储和计算大规模数据的软件平台。</p>
<p>
Hadoop是Apache Lucene创始人 Doug Cutting 创建的，最早起源一个Nutch项目。</p>
<ul>
<li>
2003年Google发表了一篇GFS论文，为大规模数据存储提供了可行的解决方案。</li>
<li>
2004年 Google发表论文MapReduce系统，为大规模数据计算提供可行的解决方案。Nutch的开发人员以谷歌的论文为基础，完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目Hadoop。</li>
<li>
到2008年1月，Hadoop成为Apache顶级项目，迎来了它的快速发展期。</li>
<li>
如今，国内外的互联网巨头基本都在使用Hadoop框架作为大数据解决方案，越来越多的企业将Hadoop 技术作为进入大数据领域的必备技术。</li>
</ul>
<p>
目前，Hadoop发行版本分为开源社区版和商业版。</p>
<ul>
<li>
开源社区版:指由Apache软件基金会维护的版本，是官方维护的版本体系,版本丰富，兼容性稍差。</li>
<li>
商业版:指由第三方商业公司在社区版Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本，比较著名的有cloudera的CDH等。</li>
</ul>
<p>
开源社区版本：一般使用2.x版本系列，3.x版本系列:该版本是最新版本，但是还不太稳定。</p>
<p>
废话不说了，开始今天的主题：使用三台Centos7系统搭建Hadoop2.X完全分布式集群</p>
<p>
去年使用CentOS 7搭建了hadoop3.X分布式集群，由于换了电脑，考虑到电脑安装了很多前其他的东西，这次是使用二台Centos7系统搭建Hadoop完全分布式集群，虽然Centos更新到8版本，但是很多大数据学习都是选择基于Centos7系统搭建。这里不搭建一台的伪分布式，搭建的版本是目前Haddop3.X稳定的Hadoop-3.1.4。</p>
<p>
去年对应的文章教程：</p>
<ul>
<li>
https://blog.csdn.net/weixin_44510615/article/details/104625802</li>
<li>
https://blog.csdn.net/weixin_44510615/article/details/106540129</li>
</ul>
<h3>
集群搭建前的准备</h3>
<p>
</p>
<p>
Centos7的下载地址：http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso。共4.8g。</p>
<p>
在集群搭建前的准备，需要在VMwear Workstation搭建一个Centos7系统，关于搭建过程，由于简单，这里直接省略。</p>
<p>
在通过物理机连接虚拟机的时候，需要有VMnet1和VMnet8两个虚拟网卡。</p>
<p>
如果安装Vmware没有VMnet1和VMnet8，据我以前踩的坑，网上说安装cclear软件包进行注册表的删除，那是不断删除下载Vmware，并没有解决问题，最终采用系统刷机的办法，得以解决。</p>
<p>
因此，搭建虚拟机的前提是，本地主机必须有虚拟本地环境，不然你怎么搞都是白搭。</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/57d9084b1b59a99c9bf1d3bf9fa7f5a1.jpg" width="auto"></p>
<p>
在这里插入图片描述</p>
<p>
在此，就可以实现本地ping通虚拟机的IP，实现本地和虚拟机的信息连接。</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/97febb688e78095cd8b8e36f3bca56c7.jpg" width="auto"></p>
<p>
这样，就可以通过xshell对centos7进行远程的连接。</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/dcb96332b67b95f353beea4d6c004aea.jpg" width="auto"></p>
<p>
在第一次使用Centos7，需要对创建的用户提供管理员的权限，因此需要使用root账号进行相关的修改，防止出现node01 不在 sudoers 文件中。此事将被报告。的报错。</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/94c63d64e0dcb25f21210616fcdf9b08.jpg" width="auto"></p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/d84d8abf2f42ab2deec7dd13253e0fb8.jpg" width="auto"></p>
<p>
使用：wq! 保存退出、</p>
<p>
如果远程连接失败，应该没有开发端口和IP地址。需要设置sudo vim /etc/ssh/sshd_config</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/e6af1fcce29fea3e1c1a13f07973b7aa.jpg" width="auto"></p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/c28cbae0a7075a02984632086006547d.jpg" width="auto"></p>
<h3>
设置静态ip</h3>
<p>
</p>
<p>
设置静态ip，通过ifconfig</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/53c33546689ac27a701173c82ed2b22a.jpg" width="auto"></p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/1207fba564cf6b76d51df62617a5e05b.jpg" width="auto"></p>
<p>
重启网卡</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/5b93caf3d3ef248d5a27190871096ae7.jpg" width="auto"></p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/250bd3adec04b743d8179b9c2c7c36dd.jpg" width="auto"></p>
<h3>
配置阿里云yum源</h3>
<p>
</p>
<p>
一开始下载速度很慢，需要配置阿里云yum源，下面来源官方文档，使用的是root账号。</p>
<ol class="dp-sql">
<li class="alt">
<span><span>#配置阿里云yum源 </span></span>
</li>
<li>
<span>yum install -y wget </span>
</li>
<li class="alt">
<span>cd  /etc/yum.repos.d/ </span>
</li>
<li>
<span>mv  CentOS-Base.repo CentOS-Base.repo.bak </span>
</li>
<li class="alt">
<span>wget  http://mirrors.aliyun.com/repo/Centos-7.repo </span>
</li>
<li>
<span>mv Centos-7.repo CentOS-Base.repo </span>
</li>
<li class="alt">
<span>#配置epel源 </span>
</li>
<li>
<span>wget https://mirrors.aliyun.com/repo/epel-7.repo </span>
</li>
<li class="alt">
<span>#清除缓存并更新 </span>
</li>
<li>
<span>yum clean <span class="op">all</span><span> </span></span>
</li>
<li class="alt">
<span>yum makecache </span>
</li>
<li>
<span>yum <span class="keyword">update</span><span> </span></span>
</li>
</ol>
<h3>
安装JDK</h3>
<p>
</p>
<p>
由于 hadoop 框架的启动是依赖 java 环境，因此需要准备 jdk 环境。目前，OpenJDK 和 Oracle Java 是最主要的两个 Java 实现。卸载Linux系统原有jdkOpenJDK，然后安装Oracle Java。</p>
<p>
具体博客：https://blog.csdn.net/weixin_44510615/article/details/104425843</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/cbc399a36f131fcce8abf373a3ece9ab.jpg" width="auto"></p>
<h3>
克隆一个虚拟机</h3>
<p>
</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/0d1430cd5f005e8d3ba101afe67f7b61.jpg" width="auto"></p>
<p>
并通过设置静态分别为192.168.147.129，并将三台Centos7主机名分别设置node01和node02，区别centos7机器。</p>
<p>
之前创建用户名使用node01，发现自己搞错了，于是把两个主机的用户名都设置为hadoop。</p>
<p>
关于Centos7修改用户名：# usermod -l hadoop -d /home/hadoop -m node01。</p>
<p>
自此我们有两台Centos电脑，在hadoop集群不使用root账号。</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/a74ae48b7f8e086b17354ed882308807.jpg" width="auto"></p>
<p>
xshell均可连接成功。</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/044e31a9d164b798d78d18a3b32476ee.jpg" width="auto"></p>
<h3>
配置ssh免密码登录</h3>
<p>
</p>
<ol class="dp-sql">
<li class="alt">
<span><span># vim /etc/sysconfig/network </span></span>
</li>
<li>
<span>######### </span>
</li>
<li class="alt">
<span>HOSTNAME=node01 </span>
</li>
<li>
<span># vim /etc/hosts </span>
</li>
<li class="alt">
<span>######### </span>
</li>
<li>
<span>192.168.147.128 node01 </span>
</li>
<li class="alt">
<span>192.168.147.129 node02 </span>
</li>
<li>
<span> </span>
</li>
<li class="alt">
<span># systemctl stop firewalld </span>
</li>
<li>
<span># systemctl disable firewalld.service </span>
</li>
<li class="alt">
<span> </span>
</li>
<li>
<span># vim /etc/sysconfig/network </span>
</li>
<li class="alt">
<span>######### </span>
</li>
<li>
<span>HOSTNAME=node02 </span>
</li>
<li class="alt">
<span># vim /etc/hosts </span>
</li>
<li>
<span>######### </span>
</li>
<li class="alt">
<span>192.168.147.128 node01 </span>
</li>
<li>
<span>192.168.147.129 node02 </span>
</li>
<li class="alt">
<span> </span>
</li>
<li>
<span># systemctl stop firewalld </span>
</li>
<li class="alt">
<span># systemctl disable firewalld.service </span>
</li>
</ol>
<p>
实现hadoop账号自由在node01和node02切换，具体查看我的博客：https://blog.csdn.net/weixin_44510615/article/details/104528001?</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/cfa49be9509251ff9169ab66d6eac55f.jpg" width="auto"></p>
<p>
下载hadoop下载链接：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz</p>
<ol class="dp-sql">
<li class="alt">
<span><span>$ ls </span></span>
</li>
<li>
<span>hadoop-3.1.4.tar.gz  module  wget-log  公共  模板  视频  图片  文档  下载  音乐  桌面 </span>
</li>
<li class="alt">
<span>$ mkdir -p  module/hadoop </span>
</li>
<li>
<span>$ tar -zxvf hadoop-3.1.4.tar.gz -C module/hadoop/ </span>
</li>
<li class="alt">
<span>$ cd module/hadoop/hadoop-3.1.4/ </span>
</li>
<li>
<span>$ sudo mkdir -p data/tmp </span>
</li>
<li class="alt">
<span>$ ls </span>
</li>
<li>
<span>bin  data  etc  include  lib  libexec  LICENSE.txt  NOTICE.txt  README.txt  sbin  share </span>
</li>
</ol>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/a5c448e62ad2f3960d3933dcfcbbfc96.jpg" width="auto"></p>
<h3>
修改配置文件</h3>
<p>
</p>
<p>
在配置集群/分布式模式时，需要修改“hadoop/etc/hadoop”目录下的配置文件，这里仅设置正常启动所必须的设置项，包括workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml共5个文件，更多设置项可查看官方说明。</p>
<h3>
修改文件hadoop-env.sh</h3>
<p>
</p>
<ol class="dp-sql">
<li class="alt">
<span><span># vim hadoop-env.sh  </span></span>
</li>
<li>
<span>############ </span>
</li>
<li class="alt">
<span>export  JAVA_HOME=/usr/java/jdk1.8.0_281/ </span>
</li>
<li>
<span> </span>
</li>
<li class="alt">
<span># vim yarn-env.sh </span>
</li>
<li>
<span>############ </span>
</li>
<li class="alt">
<span>export JAVA_HOME=/usr/java/jdk1.8.0_231 </span>
</li>
</ol>
<h3>
修改文件workers</h3>
<p>
</p>
<p>
在Master节点的workers文件中指定Slave节点，也就是node02</p>
<ol class="dp-sql">
<li class="alt">
<span><span>$ vim workers  </span></span>
</li>
<li>
<span>$ cat workers  </span>
</li>
<li class="alt">
<span>node02 </span>
</li>
</ol>
<h3>
修改文件core-site.xml</h3>
<p>
</p>
<p>
请把core-site.xml文件修改为如下内容：</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/653841706f4a4ef08840a3d7b9f23d4a.jpg" width="auto"></p>
<h3>
修改文件hdfs-site.xml</h3>
<p>
</p>
<p>
请把hdfs-site.xml文件修改为如下内容：</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/956970aa8741e0052696466c48979c77.jpg" width="auto"></p>
<p>
对于Hadoop的分布式文件系统HDFS而言，一般都是采用冗余存储，冗余因子通常为3，也就是说，一份数据保存三份副本。但是，本教程只有一个Slave节点作为数据节点，即集群中只有一个数据节点，数据只能保存一份，所以，dfs.replication的值还是设置为 1。</p>
<h3>
修改文件mapred-site.xml</h3>
<p>
</p>
<p>
请把mapred-site.xml文件修改为如下内容：</p>
<p>
<configuration><value></value></configuration></p>
<ol class="dp-sql">
<li class="alt">
<span><span>$ cat mapred-site.xml  </span></span>
</li>
<li>
<span><configuration> </span>
</li>
<li class="alt">
<span>        <property> </span>
</li>
<li>
<span>                <<span class="keyword">name</span><span>>mapreduce.framework.</span><span class="keyword">name</span><span></</span><span class="keyword">name</span><span>> </span></span>
</li>
<li class="alt">
<span>                <value>yarn</value> </span>
</li>
<li>
<span>        </property> </span>
</li>
<li class="alt">
<span></configuration> </span>
</li>
</ol>
<h3>
修改文件 yarn-site.xml</h3>
<p>
</p>
<p>
请把yarn-site.xml文件修改为如下内容：</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/9a3229d67ceaa2bf761365d3e1dedb32.jpg" width="auto"></p>
<h3>
配置Hadoop环境变量</h3>
<p>
</p>
<p>
在etc/profile增加hadoop路径：</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/c2c0d96ee09fc4e118d551c77eb8de18.jpg" width="auto"></p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/f046d0186adf561f2bfc3ae75ab89d25.jpg" width="auto"></p>
<h3>
初始化HDFS</h3>
<p>
</p>
<p>
初始化HDFS，执行 namenode 初始化命令：</p>
<ol class="dp-sql">
<li class="alt">
<span><span>hdfs namenode -format </span></span>
</li>
</ol>
<p>
可能出现创建文件夹失败的问题，这个权限问题，使用 root 账号使用命令sudo chmod -R a+w /绝对路径。初始化HDFS失败都要把之前创建的文件夹给删除。</p>
<h3>
启动集群</h3>
<p>
</p>
<p>
直接执行start-all.sh，启动 Hadoop。此时 node02上的相关服务也会被启动：</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/4a7cc51cb132a296bed92da63862418f.jpg" width="auto"></p>
<p>
在每台服务器上使用 jps 命令查看服务进程，</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/96c7810873fc1991e161ef43b4340191.jpg" width="auto"></p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/0deb08954ab2156e65a2d6c9733bdab3.jpg" width="auto"></p>
<p>
或直接进入 Web-UI 界面进行查看，端口为 9870。可以看到此时有一个可用的 Datanode：</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/aa189fc7f3dc9e6023b996cdd4356890.jpg" width="auto"></p>
<p>
接着可以查看 Yarn 的情况，端口号为 8088 ：</p>
<p>
<img style="max-width:100%!important;height:auto!important;"title="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" alt="使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群" border="0" height="auto" src="https://zhuji.jb51.net/uploads/img/202305/963ea6fb4dc21156132bddddde1c8480.jpg" width="auto"></p>
<p>
至此，Hadoop分布式集群搭建成功。</p>
<p>
原文地址：https://mp.weixin.qq.com/s/jNCixJEENPLyFwlgPlFhqw</p>

頁: [1]

查看完整版本: 使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群