欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Pycharm搭建spark环境

程序员文章站 2022-05-18 19:39:27
...
  • configuration 中的environment variables里添加环境变量
    Pycharm搭建spark环境
    Pycharm搭建spark环境
  • 需要添加参数
SPARK_HOME: 对应spark的安装路径 我这里是/usr/local/spark/spark-2.4.6-bin-hadoop2.6/

PYTHONPATH: SPARK_HOME中python的路径 我这里是 /usr/local/spark/spark-2.4.6-bin-hadoop2.6/python

PYSPARK_PYTHON: 你系统的python的路径 这一步看上去多余,事实上是防止出现py2 py3同时被运行报错的问题
相关标签: 大数据处理