array_join(col, delimiter[, null_replacement])
Описание
Функция array_join()
объединяет элементы массива в строку, используя указанный разделитель. Можно указать строку для замены NULL значений.
Параметры
col
: Column - массив для объединенияdelimiter
: str - разделитель для объединения элементовnull_replacement
: str (опционально) - строка для замены NULL значений
Возвращаемое значение
String - строка, содержащая объединенные элементы массива
Пример использования
from pyspark.sql.functions import array_join, array, lit
# Создаем DataFrame с массивами
df = spark.createDataFrame([
([1, 2, 3, 4],),
(["a", "b", "c"],),
([None, "x", None],),
(None,)
], ["array_col"])
# Объединяем элементы
df.select(
"array_col",
array_join("array_col", ",").alias("joined"),
array_join("array_col", "-", "NULL").alias("joined_with_null_replacement")
).show(truncate=False)
# Результат:
# +------------+---------+------------------------+
# |array_col |joined |joined_with_null_replacement|
# +------------+---------+------------------------+
# |[1, 2, 3, 4]|1,2,3,4 |1-2-3-4 |
# |[a, b, c] |a,b,c |a-b-c |
# |[null, x, null]|,x, |NULL-x-NULL |
# |null |null |null |
# +------------+---------+------------------------+
# Пример с разными типами данных
df = spark.createDataFrame([
([1.0, 2.0, 3.0],),
([True, False],),
([None, 1],)
], ["values"])
df.select(
"values",
array_join("values", "|").alias("joined"),
array_join("values", "|", "NA").alias("joined_with_na")
).show(truncate=False)