array_contains(col, value)

Описание

Функция array_contains() проверяет, содержит ли массив указанное значение. Возвращает NULL, если массив NULL, true, если массив содержит заданное значение, и false в противном случае.

Параметры

col: Column - массив для проверки
value: Any - значение для поиска

Возвращаемое значение

Boolean - true, если значение найдено, false если не найдено, NULL если массив NULL

Пример использования

from pyspark.sql.functions import array_contains, array, lit

# Создаем DataFrame с массивами
df = spark.createDataFrame([
    ([1, 2, 3, 4],),
    (["a", "b", "c"],),
    (None,)
], ["array_col"])

# Проверяем наличие значений
df.select(
    "array_col",
    array_contains("array_col", 3).alias("contains_3"),
    array_contains("array_col", "b").alias("contains_b"),
    array_contains("array_col", 5).alias("contains_5")
).show(truncate=False)

# Результат:
# +------------+----------+----------+----------+
# |array_col   |contains_3|contains_b|contains_5|
# +------------+----------+----------+----------+
# |[1, 2, 3, 4]|true      |false     |false     |
# |[a, b, c]   |false     |true      |false     |
# |null        |null      |null      |null      |
# +------------+----------+----------+----------+

# Пример с разными типами данных
df = spark.createDataFrame([
    ([1.0, 2.0, 3.0],),
    ([True, False],),
    ([None, 1],)
], ["values"])

df.select(
    "values",
    array_contains("values", 2.0).alias("contains_2.0"),
    array_contains("values", True).alias("contains_true"),
    array_contains("values", None).alias("contains_null")
).show(truncate=False)