flatten(col)

Описание

Функция flatten() создает один массив из массива массивов, объединяя все элементы вложенных массивов в один плоский массив.

Параметры

col: Column - массив массивов для объединения

Возвращаемое значение

Array - плоский массив, содержащий все элементы из вложенных массивов

Пример использования

from pyspark.sql.functions import flatten, array, lit

# Создаем DataFrame с массивами массивов
df = spark.createDataFrame([
    ([[1, 2], [3, 4], [5]],),
    ([["a", "b"], ["c"], ["d", "e"]],),
    (None,)
], ["array_col"])

# Объединяем вложенные массивы
df.select(
    "array_col",
    flatten("array_col").alias("flattened")
).show(truncate=False)

# Результат:
# +-------------------+------------+
# |array_col          |flattened   |
# +-------------------+------------+
# |[[1, 2], [3, 4], [5]]|[1, 2, 3, 4, 5]|
# |[[a, b], [c], [d, e]]|[a, b, c, d, e]|
# |null               |null        |
# +-------------------+------------+

# Пример с разными типами данных
df = spark.createDataFrame([
    ([[1.0, 2.0], [3.0]],),
    ([[True], [False]],),
    ([[None], [1]],)
], ["values"])

df.select(
    "values",
    flatten("values").alias("flattened")
).show(truncate=False)