array_union(col1, col2)
Описание
Функция array_union()
возвращает массив элементов, которые присутствуют хотя бы в одном из массивов (объединение множеств), без дубликатов.
Параметры
col1
: Column - первый массивcol2
: Column - второй массив
Возвращаемое значение
Array - массив всех уникальных элементов из обоих массивов
Пример использования
from pyspark.sql.functions import array_union, array, lit
# Создаем DataFrame с массивами
df = spark.createDataFrame([
([1, 2, 3, 4], [3, 4, 5, 6]),
(["a", "b", "c"], ["b", "c", "d"]),
(None, [1, 2, 3])
], ["array1", "array2"])
# Находим объединение массивов
df.select(
"array1",
"array2",
array_union("array1", "array2").alias("union")
).show(truncate=False)
# Результат:
# +------------+------------+----------------+
# |array1 |array2 |union |
# +------------+------------+----------------+
# |[1, 2, 3, 4]|[3, 4, 5, 6]|[1, 2, 3, 4, 5, 6]|
# |[a, b, c] |[b, c, d] |[a, b, c, d] |
# |null |[1, 2, 3] |null |
# +------------+------------+----------------+
# Пример с разными типами данных
df = spark.createDataFrame([
([1.0, 2.0, 3.0], [2.0, 3.0, 4.0]),
([True, False], [False, True]),
([None, 1], [1, 2])
], ["values1", "values2"])
df.select(
"values1",
"values2",
array_union("values1", "values2").alias("union")
).show(truncate=False)
Примечания
- Если любой из массивов NULL, возвращается NULL
- Результат не содержит дубликатов
- Для пересечения массивов используйте
array_intersect()
- Для разности массивов используйте
array_except()
- Для создания массива используйте
array()