isnotnull(expr)
Описание
Функция isnotnull() проверяет, не является ли значение NULL.
Параметры
expr: Column - выражение для проверки
Возвращаемое значение
Boolean - TRUE, если значение не NULL, иначе FALSE
Пример использования
from pyspark.sql.functions import isnotnull, lit
from pyspark.sql import SparkSession
# Создаем SparkSession
spark = SparkSession.builder.appName("isnotnull_example").getOrCreate()
# Создаем DataFrame с NULL значениями
data = [
    (None, 1),
    (2, None),
    (3, 4)
]
df = spark.createDataFrame(data, ["col1", "col2"])
# Проверяем значения на не-NULL
result = df.select(
    isnotnull("col1").alias("col1_is_not_null"),
    isnotnull("col2").alias("col2_is_not_null")
).show()
# Результат:
# +-----------------+-----------------+
# |col1_is_not_null |col2_is_not_null |
# +-----------------+-----------------+
# |false           |true            |
# |true            |false           |
# |true            |true            |
# +-----------------+-----------------+