version()

Описание

Функция version() возвращает строку, содержащую версию Apache Spark, используемую в текущей сессии.

Параметры

Функция не принимает параметров

Возвращаемое значение

String - строка с версией Spark

Пример использования

from pyspark.sql import SparkSession
from pyspark.sql.functions import version

# Создаем SparkSession
spark = SparkSession.builder.appName("version_example").getOrCreate()

# Получаем версию Spark
spark_version = spark.sql("SELECT version()").collect()[0][0]
print(f"Версия Spark: {spark_version}")

# Альтернативный способ через функции
df = spark.range(1)
df.select(version().alias("spark_version")).show(truncate=False)

Результат:

Версия Spark: 3.5.0

+------------+
|spark_version|
+------------+
|3.5.0       |
+------------+