Skip to content

array_intersect(col1, col2)

Описание

Функция array_intersect() возвращает массив элементов, которые присутствуют в обоих массивах (пересечение множеств), без дубликатов.

Параметры

  • col1: Column - первый массив
  • col2: Column - второй массив

Возвращаемое значение

Array - массив общих элементов без дубликатов

Пример использования

from pyspark.sql.functions import array_intersect, array, lit

# Создаем DataFrame с массивами
df = spark.createDataFrame([
    ([1, 2, 3, 4], [3, 4, 5, 6]),
    (["a", "b", "c"], ["b", "c", "d"]),
    (None, [1, 2, 3])
], ["array1", "array2"])

# Находим пересечение массивов
df.select(
    "array1",
    "array2",
    array_intersect("array1", "array2").alias("intersection")
).show(truncate=False)

# Результат:
# +------------+------------+------------+
# |array1      |array2      |intersection|
# +------------+------------+------------+
# |[1, 2, 3, 4]|[3, 4, 5, 6]|[3, 4]     |
# |[a, b, c]   |[b, c, d]   |[b, c]     |
# |null        |[1, 2, 3]   |null       |
# +------------+------------+------------+

# Пример с разными типами данных
df = spark.createDataFrame([
    ([1.0, 2.0, 3.0], [2.0, 3.0, 4.0]),
    ([True, False], [False, True]),
    ([None, 1], [1, 2])
], ["values1", "values2"])

df.select(
    "values1",
    "values2",
    array_intersect("values1", "values2").alias("intersection")
).show(truncate=False)

Примечания

  • Если любой из массивов NULL, возвращается NULL
  • Результат не содержит дубликатов
  • Для объединения массивов используйте array_union()
  • Для разности массивов используйте array_except()
  • Для создания массива используйте array()