max(col)

Описание

Функция max() возвращает максимальное значение в группе. Это агрегатная функция, которая должна использоваться с groupBy().

Параметры

• col: Column - столбец для поиска максимального значения

Возвращаемое значение

Тип значения из столбца col - максимальное значение

Пример использования

from pyspark.sql.functions import max
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("max_example").getOrCreate()

# Создаем DataFrame
data = [
    ("A", 1),
    ("A", 2),
    ("A", 3),
    ("B", 4),
    ("B", 5),
    ("B", 6),
    ("B", None)
]
df = spark.createDataFrame(data, ["group", "value"])

# Находим максимальное значение
result = df.groupBy("group").agg(
    max("value").alias("max_value")
).show()

# Результат:
# +-----+---------+
# |group|max_value|
# +-----+---------+
# |A    |3        |
# |B    |6        |
# +-----+---------+

Примечания

• NULL значения игнорируются при поиске максимума
• Для поиска минимального значения используйте min()
• Для поиска значения, связанного с максимальным значением другого столбца, используйте max_by()
• Для вычисления среднего значения используйте avg()