更新:最新的 Apache Spark 与 Python 3.6 之间的兼容性得到了解决

上一篇文章当中我提到了 Apache Spark 和 Python 3.6 之间存在兼容性问题。

 

 

Image result for apache spark

 

 

到目前为止,Apache Spark 已经发布了两个新的稳定版本, 2.1.1 和 2.2.0. 兼容性问题已经得到了解决, 你不再需要担心兼容性问题,用 homebrew 安装 apache-spark 就可以解决了。

但是如果你默认的 Python 仍然是 2.7 的版本的话, 你就需要在启动 pyspark 之前加一些其他的参数。

你需要输入:

sudo PYSPARK_PYTHON=ptipython3 pyspark

正如你所看见的,我现在正在用 ptipython3 来取代默认的 python REPL,你也可以试试看这个程序。一下是这个程序的 github 链接。

https://github.com/jonathanslenders/ptpython

发表评论

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据