array_distinct(col)

Описание

Функция array_distinct() удаляет дублирующиеся значения из массива, сохраняя только первое вхождение каждого уникального значения.

Параметры

col: Column - массив для удаления дубликатов

Возвращаемое значение

Array - массив без дубликатов

Пример использования

from pyspark.sql.functions import array_distinct, array, lit

# Создаем DataFrame с массивами
df = spark.createDataFrame([
    ([1, 2, 3, 2, 4, 1],),
    (["a", "b", "a", "c", "a", "b"],),
    (None,)
], ["array_col"])

# Удаляем дубликаты
df.select(
    "array_col",
    array_distinct("array_col").alias("distinct")
).show(truncate=False)

# Результат:
# +----------------+------------+
# |array_col       |distinct    |
# +----------------+------------+
# |[1, 2, 3, 2, 4, 1]|[1, 2, 3, 4]|
# |[a, b, a, c, a, b]|[a, b, c]  |
# |null            |null        |
# +----------------+------------+

# Пример с разными типами данных
df = spark.createDataFrame([
    ([1.0, 2.0, 1.0, 3.0],),
    ([True, False, True],),
    ([None, 1, None, 2],)
], ["values"])

df.select(
    "values",
    array_distinct("values").alias("distinct")
).show(truncate=False)