array_remove(col, element)

Описание

Функция array_remove() удаляет все элементы, равные указанному элементу, из заданного массива.

Параметры

• col: Column - исходный массив
• element: Any - элемент для удаления

Возвращаемое значение

Array - новый массив без указанного элемента

Пример использования

from pyspark.sql.functions import array_remove, array, lit

# Создаем DataFrame с массивами
df = spark.createDataFrame([
    ([1, 2, 3, 2, 4],),
    (["a", "b", "a", "c", "a"],),
    (None,)
], ["array_col"])

# Удаляем элементы
df.select(
    "array_col",
    array_remove("array_col", 2).alias("removed_2"),
    array_remove("array_col", "a").alias("removed_a")
).show(truncate=False)

# Результат:
# +------------+---------+---------+
# |array_col   |removed_2|removed_a|
# +------------+---------+---------+
# |[1, 2, 3, 2, 4]|[1, 3, 4]|[1, 2, 3, 2, 4]|
# |[a, b, a, c, a]|[a, b, a, c, a]|[b, c]    |
# |null        |null     |null     |
# +------------+---------+---------+

# Пример с разными типами данных
df = spark.createDataFrame([
    ([1.0, 2.0, 1.0],),
    ([True, False, True],),
    ([None, 1, None],)
], ["values"])

df.select(
    "values",
    array_remove("values", 1.0).alias("removed_float"),
    array_remove("values", True).alias("removed_bool"),
    array_remove("values", None).alias("removed_null")
).show(truncate=False)

Примечания

• Если массив NULL, возвращается NULL
• Удаляются все вхождения указанного элемента
• Для удаления элемента по индексу используйте slice()
• Для удаления дубликатов используйте array_distinct()
• Для создания массива используйте array()