forall(col, f)

Описание

Функция forall() проверяет, выполняется ли предикат для каждого элемента в массиве.

Параметры

col: Column - массив для проверки
f: function - функция-предикат, которая принимает элемент массива и возвращает boolean

Возвращаемое значение

Boolean - true, если предикат выполняется для всех элементов, false в противном случае

Пример использования

from pyspark.sql.functions import forall, array, lit, col

# Создаем DataFrame с массивами
df = spark.createDataFrame([
    ([1, 2, 3, 4],),
    (["a", "b", "c"],),
    (None,)
], ["array_col"])

# Проверяем условия
df.select(
    "array_col",
    forall("array_col", lambda x: x > 0).alias("all_positive"),
    forall("array_col", lambda x: len(x) == 1).alias("all_single_char")
).show(truncate=False)

# Результат:
# +------------+------------+--------------+
# |array_col   |all_positive|all_single_char|
# +------------+------------+--------------+
# |[1, 2, 3, 4]|true        |false         |
# |[a, b, c]   |false       |true          |
# |null        |null        |null          |
# +------------+------------+--------------+

# Пример с разными типами данных
df = spark.createDataFrame([
    ([1.0, 2.0, 3.0],),
    ([True, False],),
    ([None, 1],)
], ["values"])

df.select(
    "values",
    forall("values", lambda x: x > 0.0).alias("all_positive"),
    forall("values", lambda x: x == True).alias("all_true")
).show(truncate=False)