shuffle(col)

Описание

Функция shuffle() возвращает массив с элементами в случайном порядке. Порядок элементов меняется при каждом вызове функции.

Параметры

col: Column - массив для перемешивания

Возвращаемое значение

Array - массив с элементами в случайном порядке

Пример использования

from pyspark.sql.functions import shuffle, array, lit

# Создаем DataFrame с массивами
df = spark.createDataFrame([
    ([1, 2, 3, 4, 5],),
    (["a", "b", "c", "d"],),
    (None,)
], ["array_col"])

# Перемешиваем массивы
df.select(
    "array_col",
    shuffle("array_col").alias("shuffled")
).show(truncate=False)

# Результат будет разным при каждом запуске:
# +------------+------------+
# |array_col   |shuffled    |
# +------------+------------+
# |[1, 2, 3, 4, 5]|[3, 1, 5, 2, 4]|
# |[a, b, c, d]|[c, a, d, b]|
# |null        |null        |
# +------------+------------+

# Пример с разными типами данных
df = spark.createDataFrame([
    ([1.0, 2.0, 3.0],),
    ([True, False],),
    ([None, 1],)
], ["values"])

df.select(
    "values",
    shuffle("values").alias("shuffled")
).show(truncate=False)