array_join(col, delimiter[, null_replacement])

Описание

Функция array_join() объединяет элементы массива в строку, используя указанный разделитель. Можно указать строку для замены NULL значений.

Параметры

col: Column - массив для объединения
delimiter: str - разделитель для объединения элементов
null_replacement: str (опционально) - строка для замены NULL значений

Возвращаемое значение

String - строка, содержащая объединенные элементы массива

Пример использования

from pyspark.sql.functions import array_join, array, lit

# Создаем DataFrame с массивами
df = spark.createDataFrame([
    ([1, 2, 3, 4],),
    (["a", "b", "c"],),
    ([None, "x", None],),
    (None,)
], ["array_col"])

# Объединяем элементы
df.select(
    "array_col",
    array_join("array_col", ",").alias("joined"),
    array_join("array_col", "-", "NULL").alias("joined_with_null_replacement")
).show(truncate=False)

# Результат:
# +------------+---------+------------------------+
# |array_col   |joined   |joined_with_null_replacement|
# +------------+---------+------------------------+
# |[1, 2, 3, 4]|1,2,3,4  |1-2-3-4                 |
# |[a, b, c]   |a,b,c    |a-b-c                   |
# |[null, x, null]|,x,     |NULL-x-NULL             |
# |null        |null     |null                     |
# +------------+---------+------------------------+

# Пример с разными типами данных
df = spark.createDataFrame([
    ([1.0, 2.0, 3.0],),
    ([True, False],),
    ([None, 1],)
], ["values"])

df.select(
    "values",
    array_join("values", "|").alias("joined"),
    array_join("values", "|", "NA").alias("joined_with_na")
).show(truncate=False)