array_sort(col[, comparator])
Описание
Функция array_sort()
сортирует входной массив по возрастанию. Можно указать пользовательскую функцию сравнения.
Параметры
col
: Column - массив для сортировкиcomparator
: function (опционально) - функция сравнения для сортировки
Возвращаемое значение
Array - отсортированный массив
Пример использования
from pyspark.sql.functions import array_sort, array, lit
# Создаем DataFrame с массивами
df = spark.createDataFrame([
([3, 1, 4, 2, 5],),
(["c", "a", "e", "b", "d"],),
(None,)
], ["array_col"])
# Сортируем массивы
df.select(
"array_col",
array_sort("array_col").alias("sorted")
).show(truncate=False)
# Результат:
# +------------+------------+
# |array_col |sorted |
# +------------+------------+
# |[3, 1, 4, 2, 5]|[1, 2, 3, 4, 5]|
# |[c, a, e, b, d]|[a, b, c, d, e]|
# |null |null |
# +------------+------------+
# Пример с разными типами данных
df = spark.createDataFrame([
([1.0, 3.0, 2.0],),
([True, False],),
([None, 1],)
], ["values"])
df.select(
"values",
array_sort("values").alias("sorted")
).show(truncate=False)
Примечания
- Если массив NULL, возвращается NULL
- NULL значения сортируются в конец массива
- Для сортировки по убыванию используйте
sort_array(col, asc=False)
- Для удаления дубликатов используйте
array_distinct()
- Для создания массива используйте
array()