如何检查 Spark 版本 - Shell-Bash

在对 Spark 进行开发或运行时，我们需要确定所使用的 Spark 版本。本文将介绍如何通过 Shell-Bash 环境检查 Spark 版本。

检查 Spark 本地版本

首先，我们可以在本地计算机上使用以下命令来检查所安装的 Spark 版本：

spark-submit --version

如果 Spark 已经在本地计算机上正确安装并配置，该命令将返回 Spark 的版本号及其他相关信息。例如：

Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 3.1.1
      /_/
                        
Using Scala version 2.12.10, OpenJDK 64-Bit Server VM, 11.0.6

检查 Spark 集群版本

如果我们正在运行一个 Spark 应用程序或 Spark 集群环境，我们可以通过 Spark Web UI 来找到 Spark 版本：

1. 打开运行 Spark 的节点上的浏览器。
2. 输入 Spark Web UI 的 URL，例如： http://<node_ip_address>:4040 。
3. 在 Spark Web UI 页面右上角，可以看到 Spark 版本号。

例如：

结论

本文介绍了如何通过 Shell-Bash 环境检查 Spark 版本。您可以使用 spark-submit --version 命令来在本地计算机上检查 Spark 版本，或通过 Spark Web UI 来查找 Spark 集群的版本号。