array_agg(col)

Описание

Функция array_agg() собирает все значения столбца в массив, сохраняя дубликаты. Это агрегатная функция, которая должна использоваться с groupBy().

Параметры

col: Column - столбец, значения которого нужно собрать в массив

Возвращаемое значение

Array - массив всех значений столбца

Пример использования

from pyspark.sql.functions import array_agg
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("array_agg_example").getOrCreate()

# Создаем DataFrame
data = [
    ("A", 1),
    ("A", 2),
    ("A", 2),
    ("B", 3),
    ("B", 4),
    ("B", 4)
]
df = spark.createDataFrame(data, ["group", "value"])

# Используем array_agg для сбора значений в массив
result = df.groupBy("group").agg(
    array_agg("value").alias("values_array")
).show(truncate=False)

# Результат:
# +-----+------------+
# |group|values_array|
# +-----+------------+
# |A    |[1, 2, 2]   |
# |B    |[3, 4, 4]   |
# +-----+------------+

# Пример с разными типами данных
data = [
    ("A", "x"),
    ("A", "y"),
    ("A", "x"),
    ("B", "z"),
    ("B", "w"),
    ("B", "z")
]
df = spark.createDataFrame(data, ["group", "value"])

result = df.groupBy("group").agg(
    array_agg("value").alias("values_array")
).show(truncate=False)