every(col)

Описание

Функция every() возвращает TRUE, если все значения в столбце равны TRUE. Это агрегатная функция, которая должна использоваться с groupBy(). Функция является синонимом для bool_and().

Параметры

col: Column - столбец с булевыми значениями

Возвращаемое значение

Boolean - TRUE, если все значения TRUE, иначе FALSE

Пример использования

from pyspark.sql.functions import every
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("every_example").getOrCreate()

# Создаем DataFrame
data = [
    ("A", True),
    ("A", True),
    ("A", True),
    ("B", True),
    ("B", False),
    ("B", True),
    ("B", None)
]
df = spark.createDataFrame(data, ["group", "value"])

# Проверяем, все ли значения TRUE
result = df.groupBy("group").agg(
    every("value").alias("all_true")
).show()

# Результат:
# +-----+--------+
# |group|all_true|
# +-----+--------+
# |A    |true    |
# |B    |false   |
# +-----+--------+

Примечания

NULL значения игнорируются при вычислении
Функция является синонимом для bool_and()
Для проверки наличия хотя бы одного TRUE значения используйте some() или bool_or()
Для подсчета TRUE значений используйте count_if()