Skip to content

array_union(col1, col2)

Описание

Функция array_union() возвращает массив элементов, которые присутствуют хотя бы в одном из массивов (объединение множеств), без дубликатов.

Параметры

  • col1: Column - первый массив
  • col2: Column - второй массив

Возвращаемое значение

Array - массив всех уникальных элементов из обоих массивов

Пример использования

from pyspark.sql.functions import array_union, array, lit

# Создаем DataFrame с массивами
df = spark.createDataFrame([
    ([1, 2, 3, 4], [3, 4, 5, 6]),
    (["a", "b", "c"], ["b", "c", "d"]),
    (None, [1, 2, 3])
], ["array1", "array2"])

# Находим объединение массивов
df.select(
    "array1",
    "array2",
    array_union("array1", "array2").alias("union")
).show(truncate=False)

# Результат:
# +------------+------------+----------------+
# |array1      |array2      |union           |
# +------------+------------+----------------+
# |[1, 2, 3, 4]|[3, 4, 5, 6]|[1, 2, 3, 4, 5, 6]|
# |[a, b, c]   |[b, c, d]   |[a, b, c, d]   |
# |null        |[1, 2, 3]   |null           |
# +------------+------------+----------------+

# Пример с разными типами данных
df = spark.createDataFrame([
    ([1.0, 2.0, 3.0], [2.0, 3.0, 4.0]),
    ([True, False], [False, True]),
    ([None, 1], [1, 2])
], ["values1", "values2"])

df.select(
    "values1",
    "values2",
    array_union("values1", "values2").alias("union")
).show(truncate=False)

Примечания

  • Если любой из массивов NULL, возвращается NULL
  • Результат не содержит дубликатов
  • Для пересечения массивов используйте array_intersect()
  • Для разности массивов используйте array_except()
  • Для создания массива используйте array()