diff(col)
Описание
Функция diff() вычисляет разницу между текущим значением и предыдущим значением в окне.
Параметры
col: Column - числовой столбец
Возвращаемое значение
Column - разница между текущим и предыдущим значением
Пример использования
from pyspark.sql.functions import diff, window
from pyspark.sql import SparkSession
from pyspark.sql.window import Window
# Создаем SparkSession
spark = SparkSession.builder.appName("diff_example").getOrCreate()
# Создаем DataFrame с временными рядами
data = [
("2023-01-01", 100),
("2023-01-02", 120),
("2023-01-03", 115),
("2023-01-04", 130),
("2023-01-05", 125)
]
df = spark.createDataFrame(data, ["date", "value"])
# Определяем окно
windowSpec = Window.orderBy("date")
# Вычисляем разницу
df = df.withColumn("difference", diff("value").over(windowSpec))
df.show(truncate=False)
# Результат:
# +----------+-----+----------+
# |date |value|difference|
# +----------+-----+----------+
# |2023-01-01|100 |null |
# |2023-01-02|120 |20 |
# |2023-01-03|115 |-5 |
# |2023-01-04|130 |15 |
# |2023-01-05|125 |-5 |
# +----------+-----+----------+