std(col)
Описание
Функция std()
вычисляет стандартное отклонение значений в столбце.
Параметры
col
: Column - числовой столбец
Возвращаемое значение
Column - стандартное отклонение значений
Пример использования
from pyspark.sql.functions import std, col
from pyspark.sql import SparkSession
# Создаем SparkSession
spark = SparkSession.builder.appName("std_example").getOrCreate()
# Создаем DataFrame с числовыми значениями
data = [
(1,),
(2,),
(3,),
(4,),
(5,)
]
df = spark.createDataFrame(data, ["value"])
# Вычисляем стандартное отклонение
result = df.agg(std("value").alias("std_dev"))
result.show(truncate=False)
# Результат:
# +------------------+
# |std_dev |
# +------------------+
# |1.5811388300841898|
# +------------------+
Примечания
- Возвращает NULL, если все значения NULL
- Использует несмещенную оценку стандартного отклонения
- Полезно для:
- Анализа разброса данных
- Оценки вариативности
- Статистического анализа
- Связанные функции:
stddev()
- синоним stdstddev_pop()
- генеральная совокупностьstddev_samp()
- выборочное стандартное отклонение