regr_avgx(y, x)
Описание
Функция regr_avgx()
вычисляет среднее значение независимой переменной (x) для пары числовых столбцов. Это агрегатная функция, которая должна использоваться с groupBy()
.
Параметры
y
: Column - зависимая переменная (ордината)x
: Column - независимая переменная (абсцисса)
Возвращаемое значение
Double - среднее значение независимой переменной
Пример использования
from pyspark.sql.functions import regr_avgx
from pyspark.sql import SparkSession
# Создаем SparkSession
spark = SparkSession.builder.appName("regr_avgx_example").getOrCreate()
# Создаем DataFrame
data = [
("A", 1, 2),
("A", 2, 4),
("A", 3, 6),
("B", 1, 3),
("B", 2, 5),
("B", 3, 7)
]
df = spark.createDataFrame(data, ["group", "x", "y"])
# Вычисляем среднее значение x для каждой группы
result = df.groupBy("group").agg(
regr_avgx("y", "x").alias("avg_x")
).show()
# Результат:
# +-----+-----+
# |group|avg_x|
# +-----+-----+
# |A |2.0 |
# |B |2.0 |
# +-----+-----+
Примечания
- NULL значения в любом из столбцов игнорируются
- Для вычисления среднего значения зависимой переменной используйте
regr_avgy()
- Для вычисления наклона линии регрессии используйте
regr_slope()
- Для вычисления точки пересечения линии регрессии используйте
regr_intercept()