exists(col, f)
Описание
Функция exists() проверяет, выполняется ли предикат хотя бы для одного элемента в массиве.
Параметры
col: Column - массив для проверкиf: function - функция-предикат, которая принимает элемент массива и возвращает boolean
Возвращаемое значение
Boolean - true, если предикат выполняется хотя бы для одного элемента, false в противном случае
Пример использования
from pyspark.sql.functions import exists, array, lit, col
# Создаем DataFrame с массивами
df = spark.createDataFrame([
([1, 2, 3, 4],),
(["a", "b", "c"],),
(None,)
], ["array_col"])
# Проверяем условия
df.select(
"array_col",
exists("array_col", lambda x: x > 2).alias("has_greater_than_2"),
exists("array_col", lambda x: x == "b").alias("has_b")
).show(truncate=False)
# Результат:
# +------------+----------------+------+
# |array_col |has_greater_than_2|has_b |
# +------------+----------------+------+
# |[1, 2, 3, 4]|true |false |
# |[a, b, c] |false |true |
# |null |null |null |
# +------------+----------------+------+
# Пример с разными типами данных
df = spark.createDataFrame([
([1.0, 2.0, 3.0],),
([True, False],),
([None, 1],)
], ["values"])
df.select(
"values",
exists("values", lambda x: x > 2.0).alias("has_greater_than_2"),
exists("values", lambda x: x == True).alias("has_true")
).show(truncate=False)