ValueError: 不能一次运行多个 SparkContexts； - 打字稿

当我们试图在一个Python进程内创建多个SparkContext时，我们会得到 'ValueError: 不能一次运行多个 SparkContexts' 错误。这个错误表明我们已经在同一个Python进程中创建了一个SparkContext，不能再创建另一个SparkContext了。要解决这个问题，我们需要在创建SparkContext之前停止先前创建的SparkContext。

我们可以使用下面的代码来手动停止SparkContext：

from pyspark import SparkContext
sc = SparkContext("local", "my_app")
# do some work
sc.stop()

sc.stop() 方法会停止SparkContext并释放其资源。如果我们尝试在上面的示例之后创建一个新的SparkContext，那么就不会再出现 'ValueError: 不能一次运行多个 SparkContexts' 的错误。

但是，由于我们可能犯错误或遇到其他问题，导致SparkContext没有正确地停止。在这种情况下，我们可以使用下面的代码来关闭所有正在运行的SparkContext：

from pyspark import SparkContext
SparkContext.stopAll()

这个方法会停止所有正在运行的SparkContext。这可以帮助我们解决 'ValueError: 不能一次运行多个 SparkContexts' 的问题，并确保我们只在必要时创建一个SparkContext。

最后，记住在创建SparkContext时，不要忘记使用 'with' 关键字，以确保SparkContext在不再使用时自动关闭。例如：

from pyspark.sql import SparkSession

with SparkSession.builder.appName("myApp").getOrCreate() as spark:
    # do some work

这将确保SparkSession在退出 'with' 块时关闭，以便SparkContext被关闭并释放其资源。

总之，'ValueError: 不能一次运行多个 SparkContexts' 错误是由于我们尝试在同一个Python进程中创建多个SparkContext导致的。我们可以手动停止先前创建的SparkContext，或使用 SparkContext.stopAll() 方法来关闭所有正在运行的SparkContext。最好的方法是在创建SparkContext时使用 'with' 关键字，以确保SparkContext在不再使用时自动关闭。