win10环境下通过anaconda安装pyspark

解决方法

本来应该可以在anaconda上直接搜索安装,但是非常慢,而且还有错误,说python3.8无法和和 pyspark3.1.2兼容,需要安装python3.8之前的版本才行。又在网上找了各种教程,结果出现各种各样的问题。
最后,解决方法其实只要在Anaconda Prompt 中输入 conda install pyspark 安装即可。

这个命令应该和 pip install pyspark相同的效果。

注意:

另外,pyspark3.x.x开始支持 python3.8,如果安装最新的anaconda应该是python3.9.x,这个时候必须要安装 pyspark3.x.x才行。

命令补充:

  • 创建虚拟环境:
conda create --name py37 python=3.7 #创建一个名称为py37

也可以在anaconda中手动创建

  • 激活虚拟环境
activate py37
  • 查看已有的虚拟环境
conda env list
  • 切换到想要的虚拟环境
conda activate my37

参考:
https://zhuanlan.zhihu.com/p/144151332
https://zhuanlan.zhihu.com/p/141122337

你可能感兴趣的:(笔记,python,大数据)