var_samp(col)

Описание

Функция var_samp() вычисляет выборочную дисперсию для числового столбца. Это агрегатная функция, которая должна использоваться с groupBy().

Параметры

• col: Column - числовой столбец для вычисления выборочной дисперсии

Возвращаемое значение

Double - выборочная дисперсия

Пример использования

from pyspark.sql.functions import var_samp
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("var_samp_example").getOrCreate()

# Создаем DataFrame
data = [
    ("A", 1),
    ("A", 2),
    ("A", 3),
    ("B", 4),
    ("B", 5),
    ("B", 6)
]
df = spark.createDataFrame(data, ["group", "value"])

# Вычисляем выборочную дисперсию для каждой группы
result = df.groupBy("group").agg(
    var_samp("value").alias("sample_variance")
).show()

# Результат:
# +-----+--------------+
# |group|sample_variance|
# +-----+--------------+
# |A    |1.0           |
# |B    |1.0           |
# +-----+--------------+

Примечания

• NULL значения игнорируются при вычислении выборочной дисперсии
• Для вычисления генеральной дисперсии используйте var_pop()
• Для вычисления выборочного стандартного отклонения используйте stddev_samp()
• Для вычисления среднего значения используйте avg()