equal_null(expr1, expr2)
Описание
Функция equal_null()
сравнивает два выражения, считая NULL равным NULL.
Параметры
expr1
: Column - первое выражениеexpr2
: Column - второе выражение
Возвращаемое значение
Boolean - TRUE, если выражения равны или оба NULL, иначе FALSE
Пример использования
from pyspark.sql.functions import equal_null, lit
from pyspark.sql import SparkSession
# Создаем SparkSession
spark = SparkSession.builder.appName("equal_null_example").getOrCreate()
# Создаем DataFrame с NULL значениями
data = [
(None, None),
(1, 1),
(1, 2),
(None, 1)
]
df = spark.createDataFrame(data, ["col1", "col2"])
# Сравниваем значения
result = df.select(
equal_null("col1", "col2").alias("is_equal")
).show()
# Результат:
# +---------+
# |is_equal |
# +---------+
# |true |
# |true |
# |false |
# |false |
# +---------+