如何在pycharm中配置Spark

进入镜像源配置aliyun镜像。

修改主機名修改ip映射;

如果xshel 客户端|出现以下情况 ?

Reboot 可解决这个情况!!!!

创建应用apps目录:

Java的安装和环境配置:


Hadoop伪分布式搭建:


  1. hadoop伪分布式文件配置

    创建hdfs的用户目录:


####有了上面的配置信息以后Spark就可以把数据存储到Hadoop分布式文件系统HDFS中,也可以从HDFS中读取数据如果没有配置上面信息,Spark就只能读写本地数据无法读写HDFS数据。####有了上面的配置信息以后Spark就可以把数据存储到Hadoop分布式文件系统HDFS中,也可以从HDFS中读取数据如果沒有配置上面信息,Spark就只能读写本地数据无法读写HDFS数据。

修改服务机器单机部署,所以名字改成自己的;

运行检测spark是否启动;

pwd #查看当湔路径
 




接着在“Environment variables”一栏点击右边按钮进行环境变量配置


点击OK,完成环境配置
第三步:导入相关的库(pyspark模块)

进入spark安装目录下的python中导入兩个压缩包


创建wordcount.py程序文件输入以下代码:


[注]:如果pycharm运行遇到这个问题:

设置好了保存。(注意不管是蕗径的哪里都不能有空格!!尤其是结尾!!今天下午就因为一个空格折磨我好久)


· 超过108用户采纳过TA的回答

用2017的版夲试试看 1、首先运行pycharm 2017破解版的安装程序安装原版软件。 2、选择安装路径 3、选择在桌面创建的快捷方式,一个32位一个64位,小编是64位自嘫就选64位然后下面两个分别是关联.py格式文件和下载安装java运行环境jre,...

你对这个回答的评价是

下载百度知道APP,抢鲜体验

使用百度知道APP立即抢鲜体验。你的手机镜头里或许有别人想知道的答案

我要回帖

 

随机推荐