Skip to content

var_pop(col)

Описание

Функция var_pop() вычисляет генеральную дисперсию для числового столбца. Это агрегатная функция, которая должна использоваться с groupBy().

Параметры

  • col: Column - числовой столбец для вычисления генеральной дисперсии

Возвращаемое значение

Double - генеральная дисперсия

Пример использования

from pyspark.sql.functions import var_pop
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("var_pop_example").getOrCreate()

# Создаем DataFrame
data = [
    ("A", 1),
    ("A", 2),
    ("A", 3),
    ("B", 4),
    ("B", 5),
    ("B", 6)
]
df = spark.createDataFrame(data, ["group", "value"])

# Вычисляем генеральную дисперсию для каждой группы
result = df.groupBy("group").agg(
    var_pop("value").alias("population_variance")
).show()

# Результат:
# +-----+------------------+
# |group|population_variance|
# +-----+------------------+
# |A    |0.6666666666666666|
# |B    |0.6666666666666666|
# +-----+------------------+

Примечания

  • NULL значения игнорируются при вычислении генеральной дисперсии
  • Для вычисления выборочной дисперсии используйте variance()
  • Для вычисления генерального стандартного отклонения используйте stddev_pop()
  • Для вычисления среднего значения используйте avg()