isnotnan(col)

Описание

Функция isnotnan() проверяет, не является ли значение NaN (Not a Number). Возвращает true, если значение не является NaN, и false в противном случае.

Параметры

• col: Column - столбец для проверки

Возвращаемое значение

Column - boolean значение (true, если значение не NaN, false в противном случае)

Пример использования

from pyspark.sql import SparkSession
from pyspark.sql.functions import isnotnan, lit
import numpy as np

# Создаем SparkSession
spark = SparkSession.builder.appName("isnotnan_example").getOrCreate()

# Создаем DataFrame с данными
data = [
    (1.0,),
    (float('nan'),),
    (3.0,),
    (float('inf'),),
    (None,)
]
df = spark.createDataFrame(data, ["value"])

# Проверяем, какие значения не являются NaN
result = df.withColumn("is_not_nan", isnotnan("value"))
result.show()

# Результат:
# +-----+-----------+
# |value|is_not_nan|
# +-----+-----------+
# |  1.0|       true|
# |  NaN|      false|
# |  3.0|       true|
# |  Inf|       true|
# | null|       null|
# +-----+-----------+

Примечания

• Возвращает null, если входное значение null
• Полезно для:
• Фильтрации NaN значений
• Проверки качества данных
• Обработки специальных значений
• Связанные функции:
• isnan() - проверяет, является ли значение NaN
• isnull() - проверяет, является ли значение NULL
• isnotnull() - проверяет, не является ли значение NULL