isnull(expr)
Описание
Функция isnull()
проверяет, является ли значение NULL.
Параметры
expr
: Column - выражение для проверки
Возвращаемое значение
Boolean - TRUE, если значение NULL, иначе FALSE
Пример использования
from pyspark.sql.functions import isnull, lit
from pyspark.sql import SparkSession
# Создаем SparkSession
spark = SparkSession.builder.appName("isnull_example").getOrCreate()
# Создаем DataFrame с NULL значениями
data = [
(None, 1),
(2, None),
(3, 4)
]
df = spark.createDataFrame(data, ["col1", "col2"])
# Проверяем значения на NULL
result = df.select(
isnull("col1").alias("col1_is_null"),
isnull("col2").alias("col2_is_null")
).show()
# Результат:
# +-------------+-------------+
# |col1_is_null |col2_is_null |
# +-------------+-------------+
# |true |false |
# |false |true |
# |false |false |
# +-------------+-------------+
Примечания
- Работает со всеми типами данных
- Для проверки на NaN используйте
isnan()
- Для замены NULL на значение используйте
nvl()
- Для получения первого не-NULL значения используйте
coalesce()