some(col)

Описание

Функция some() возвращает TRUE, если хотя бы одно значение в столбце равно TRUE. Это агрегатная функция, которая должна использоваться с groupBy(). Функция является синонимом для bool_or().

Параметры

col: Column - столбец с булевыми значениями

Возвращаемое значение

Boolean - TRUE, если хотя бы одно значение TRUE, иначе FALSE

Пример использования

from pyspark.sql.functions import some
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("some_example").getOrCreate()

# Создаем DataFrame
data = [
    ("A", True),
    ("A", False),
    ("A", False),
    ("B", False),
    ("B", False),
    ("B", True),
    ("B", None)
]
df = spark.createDataFrame(data, ["group", "value"])

# Проверяем, есть ли хотя бы одно TRUE значение
result = df.groupBy("group").agg(
    some("value").alias("has_true")
).show()

# Результат:
# +-----+--------+
# |group|has_true|
# +-----+--------+
# |A    |true    |
# |B    |true    |
# +-----+--------+