Spark在Win10下的环境搭建过程
<h2>前言</h2><p> 本章将介绍如何在WIN10下实现spark环境搭建。</p>
<h2> 本章概要</h2>
<p> 1、版本说明</p>
<p> 2、环境准备：<br />
</p>
<ul>
<li>jdk配置；</li>
<li>scala安装与配置；</li>
<li>spark安装与配置；</li>
<li>hadoop安装与配置；</li>
</ul>
<h2> 版本说明</h2>
<p> jdk：1.8</p>
<p> scala：2.11.8</p>
<p> spark：2.3.0</p>
<p> hadoop：2.8.3</p>
<h2>环境准备</h2>
<p> jdk配置</p>
<p> 1、配置JAVA_HOME与Path：</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531542.png" /></p>
<p> Path</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531543.png" /> </p>
<p><br />
2、验证配置：</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531544.png" /></p>
<h2>scala安装与配置</h2>
<p> 1、scala下载：</p>
<p> 访问官方地址<br />
http://www.scala-lang.org/download/2.11.8.html</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531645.png" /> </p>
<p> 2、配置Path：</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531646.png" /> </p>
<p> 3、验证配置：</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531647.png" /> </p>
<h2> Spark安装与配置</h2>
<p> 1、spark下载：</p>
<p> 访问官方地址<br />
http://spark.apache.org/downloads.html</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531648.png" /> </p>
<p> 选中官方推荐的地址即可下载，其他地址也可用（建议采用迅雷等下载工具下载，速度比较会快很多）</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531649.png" /> </p>
<p>2、解压至D盘；</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531650.png" /> </p>
<p>3、配置Path：</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531651.png" /> </p>
<p>4、通过spark-shell进入Spark的交互式命令行模式：</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531652.png" /> </p>
<p>如上，可以看到对应的spark、scala、java版本，同时也看到了异常信息，该异常信息是由于hadoop导致的，下面来配置hadoop。<br />
</p>
<h2>Hadoop安装与配置</h2>
<p> 1、hadoop下载</p>
<p> 访问官方<br />
http://hadoop.apache.org/releases.html</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531653.png" /> </p>
<p> 进入下载页，如下建议地址（同样建议用迅雷等下载工具下载，速度更快）</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531654.png" /> </p>
<p> 2、解压至</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531655.png" /> </p>
<p>3、配置HADOOP_HOME&Path：</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531756.png" /> </p>
<p> path：</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531757.png" /> </p>
<p>4、winutils下载：<br />
https://github.com/steveloughran/winutils</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531758.png" /> </p>
<p> 下载对应版本的bin目录直接替换本地bin目录即可。</p>
<p>5、此时继续spark-shell进入spark命令行交互模式：</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531759.png" /> </p>
<p> 此时即不会出现上述的异常提示。</p>
<p> 6、访问控制台中的webui如下：</p>
<p style="text-align: center"><img alt="" src="https://img.jbzj.com/file_images/article/202104/2021042710531760.png" /></p>
<p>到此这篇关于Spark在Win10下的环境搭建的文章就介绍到这了,更多相关win10 Spark环境搭建内容请搜索琼殿技术社区以前的文章或继续浏览下面的相关文章希望大家以后多多支持琼殿技术社区！</p>
<div class="art_xg">
<b>您可能感兴趣的文章:</b><ul><li>windows下pycharm搭建spark环境并成功运行 附源码</li><li>PyCharm搭建Spark开发环境的实现步骤</li><li>Python搭建Spark分布式集群环境</li><li>Spark在Windows下的环境搭建方法</li><li>PyCharm搭建Spark开发环境实现第一个pyspark程序</li><li>Linux下搭建Spark 的 Python 编程环境的方法</li><li>使用docker快速搭建Spark集群的方法教程</li><li>Spark集群框架的搭建与入门</li></ul>
</div>
</div>
<!--endmain-->
頁:
[1]