Skip to content

array_union(col1, col2)

Описание

Функция array_union() возвращает массив элементов, которые присутствуют хотя бы в одном из массивов (объединение множеств), без дубликатов.

Параметры

  • col1: Column - первый массив
  • col2: Column - второй массив

Возвращаемое значение

Array - массив всех уникальных элементов из обоих массивов

Пример использования

from pyspark.sql.functions import array_union, array, lit

# Создаем DataFrame с массивами
df = spark.createDataFrame([
    ([1, 2, 3, 4], [3, 4, 5, 6]),
    (["a", "b", "c"], ["b", "c", "d"]),
    (None, [1, 2, 3])
], ["array1", "array2"])

# Находим объединение массивов
df.select(
    "array1",
    "array2",
    array_union("array1", "array2").alias("union")
).show(truncate=False)

# Результат:
# +------------+------------+----------------+
# |array1      |array2      |union           |
# +------------+------------+----------------+
# |[1, 2, 3, 4]|[3, 4, 5, 6]|[1, 2, 3, 4, 5, 6]|
# |[a, b, c]   |[b, c, d]   |[a, b, c, d]   |
# |null        |[1, 2, 3]   |null           |
# +------------+------------+----------------+

# Пример с разными типами данных
df = spark.createDataFrame([
    ([1.0, 2.0, 3.0], [2.0, 3.0, 4.0]),
    ([True, False], [False, True]),
    ([None, 1], [1, 2])
], ["values1", "values2"])

df.select(
    "values1",
    "values2",
    array_union("values1", "values2").alias("union")
).show(truncate=False)

Примечания

  • Если любой из массивов NULL, возвращается NULL
  • Результат не содержит дубликатов
  • Для пересечения массивов используйте array_intersect()
  • Для разности массивов используйте array_except()
  • Для создания массива используйте array()

XML функции

aggregate functions

array functions pyspark

basic functions

bitmap functions

bitwise functions

call functions

comparison functions

conditional functions

conversion functions

csv functions

datetime functions pyspark

encryption functions

expression functions

hash functions

java functions

json functions

map functions

mathematical functions pyspark

normal functions

null functions

sketch functions

sort functions

string functions pyspark

struct functions

system functions

type functions

window functions

xml functions

агрегатные функции

битовые операции

оконные функции

операторы сравнения

предикатные функции

системные функции

условные функции

функции для работы с битовыми картами

функции преобразования типов

функции шифрования