array_max(col)
Описание
Функция array_max()
возвращает максимальное значение в массиве. Для строковых значений используется лексикографический порядок.
Параметры
col
: Column - массив для поиска максимального значения
Возвращаемое значение
Any - максимальное значение в массиве
Пример использования
from pyspark.sql.functions import array_max, array, lit
# Создаем DataFrame с массивами
df = spark.createDataFrame([
([1, 2, 3, 4],),
(["a", "b", "c"],),
([None, 1, 2],),
(None,)
], ["array_col"])
# Находим максимальные значения
df.select(
"array_col",
array_max("array_col").alias("max_value")
).show(truncate=False)
# Результат:
# +------------+---------+
# |array_col |max_value|
# +------------+---------+
# |[1, 2, 3, 4]|4 |
# |[a, b, c] |c |
# |[null, 1, 2]|2 |
# |null |null |
# +------------+---------+
# Пример с разными типами данных
df = spark.createDataFrame([
([1.0, 2.0, 3.0],),
([True, False],),
([None, 1],)
], ["values"])
df.select(
"values",
array_max("values").alias("max_value")
).show(truncate=False)
Примечания
- Если массив NULL, возвращается NULL
- NULL значения игнорируются при поиске максимума
- Для поиска минимального значения используйте
array_min()
- Для сортировки массива используйте
array_sort()
- Для создания массива используйте
array()