stddev_pop(col)

Описание

Функция stddev_pop() вычисляет стандартное отклонение генеральной совокупности для числового столбца. Это агрегатная функция, которая должна использоваться с groupBy().

Параметры

col: Column - числовой столбец для вычисления стандартного отклонения

Возвращаемое значение

Double - стандартное отклонение генеральной совокупности

Пример использования

from pyspark.sql.functions import stddev_pop
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("stddev_pop_example").getOrCreate()

# Создаем DataFrame
data = [
    ("A", 1),
    ("A", 2),
    ("A", 3),
    ("B", 4),
    ("B", 5),
    ("B", 6)
]
df = spark.createDataFrame(data, ["group", "value"])

# Вычисляем стандартное отклонение для каждой группы
result = df.groupBy("group").agg(
    stddev_pop("value").alias("stddev")
).show()

# Результат:
# +-----+------------------+
# |group|stddev           |
# +-----+------------------+
# |A    |0.816496580927726|
# |B    |0.816496580927726|
# +-----+------------------+