equal_null(expr1, expr2)
Описание
Функция equal_null() сравнивает два выражения, считая NULL равным NULL.
Параметры
expr1: Column - первое выражениеexpr2: Column - второе выражение
Возвращаемое значение
Boolean - TRUE, если выражения равны или оба NULL, иначе FALSE
Пример использования
from pyspark.sql.functions import equal_null, lit
from pyspark.sql import SparkSession
# Создаем SparkSession
spark = SparkSession.builder.appName("equal_null_example").getOrCreate()
# Создаем DataFrame с NULL значениями
data = [
    (None, None),
    (1, 1),
    (1, 2),
    (None, 1)
]
df = spark.createDataFrame(data, ["col1", "col2"])
# Сравниваем значения
result = df.select(
    equal_null("col1", "col2").alias("is_equal")
).show()
# Результат:
# +---------+
# |is_equal |
# +---------+
# |true     |
# |true     |
# |false    |
# |false    |
# +---------+