desc(col)
Описание
Функция desc()
используется для сортировки данных в порядке убывания. Это синоним функции desc_nulls_last()
.
Параметры
col
: Column - столбец для сортировки
Возвращаемое значение
Column - столбец с примененной сортировкой по убыванию
Пример использования
from pyspark.sql.functions import desc
# Создаем DataFrame
df = spark.createDataFrame([
(1, "John", 25),
(2, "Jane", 30),
(3, "Bob", 35),
(4, "Alice", 28),
(5, None, 40)
], ["id", "name", "age"])
# Сортируем по возрасту в порядке убывания
df.orderBy(desc("age")).show()
# Результат:
# +---+-----+---+
# | id| name|age|
# +---+-----+---+
# | 5| null| 40|
# | 3| Bob| 35|
# | 2| Jane| 30|
# | 4|Alice| 28|
# | 1| John| 25|
# +---+-----+---+
# Сортируем по имени в порядке убывания
df.orderBy(desc("name")).show()
# Результат:
# +---+-----+---+
# | id| name|age|
# +---+-----+---+
# | 1| John| 25|
# | 2| Jane| 30|
# | 3| Bob| 35|
# | 4|Alice| 28|
# | 5| null| 40|
# +---+-----+---+
Примечания
- NULL значения сортируются в конце (NULLS LAST)
- Для сортировки по возрастанию используйте
asc()
- Для сортировки NULL значений в начале используйте
desc_nulls_first()
- Функция часто используется в комбинации с
orderBy()
илиsort()
- Можно использовать для сортировки по нескольким столбцам