isnotnull(expr)
Описание
Функция isnotnull()
проверяет, не является ли значение NULL.
Параметры
expr
: Column - выражение для проверки
Возвращаемое значение
Boolean - TRUE, если значение не NULL, иначе FALSE
Пример использования
from pyspark.sql.functions import isnotnull, lit
from pyspark.sql import SparkSession
# Создаем SparkSession
spark = SparkSession.builder.appName("isnotnull_example").getOrCreate()
# Создаем DataFrame с NULL значениями
data = [
(None, 1),
(2, None),
(3, 4)
]
df = spark.createDataFrame(data, ["col1", "col2"])
# Проверяем значения на не-NULL
result = df.select(
isnotnull("col1").alias("col1_is_not_null"),
isnotnull("col2").alias("col2_is_not_null")
).show()
# Результат:
# +-----------------+-----------------+
# |col1_is_not_null |col2_is_not_null |
# +-----------------+-----------------+
# |false |true |
# |true |false |
# |true |true |
# +-----------------+-----------------+