median(col)

Описание

Функция median() возвращает медианное значение в группе. Медиана - это значение, которое делит упорядоченный набор данных на две равные части. Это агрегатная функция, которая должна использоваться с groupBy().

Параметры

• col: Column - числовой столбец для вычисления медианы

Возвращаемое значение

Double - медианное значение

Пример использования

from pyspark.sql.functions import median
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("median_example").getOrCreate()

# Создаем DataFrame
data = [
    ("A", 1),
    ("A", 2),
    ("A", 3),
    ("B", 4),
    ("B", 5),
    ("B", 6),
    ("B", None)
]
df = spark.createDataFrame(data, ["group", "value"])

# Вычисляем медиану
result = df.groupBy("group").agg(
    median("value").alias("median_value")
).show()

# Результат:
# +-----+------------+
# |group|median_value|
# +-----+------------+
# |A    |2.0         |
# |B    |5.0         |
# +-----+------------+

Примечания

• NULL значения игнорируются при вычислении медианы
• Для нечетного количества значений медиана - это среднее значение
• Для четного количества значений медиана - это среднее арифметическое двух центральных значений
• Для вычисления среднего значения используйте avg()
• Для вычисления моды используйте mode()
• Для вычисления суммы используйте sum()