explode(column)

Описание

Функция explode() создает новую строку для каждого элемента в массиве или Map-столбце. Если столбец содержит NULL или пустой массив/Map, строка будет пропущена.

Параметры

• column: Column - массив или Map-столбец для развертывания

Возвращаемое значение

Column - развернутый столбец

Пример использования

from pyspark.sql import SparkSession
from pyspark.sql.functions import explode

# Создаем SparkSession
spark = SparkSession.builder.appName("explode_example").getOrCreate()

# Создаем DataFrame с массивом
data = [
    (1, ["a", "b", "c"]),
    (2, ["x", "y"]),
    (3, [])
]
df = spark.createDataFrame(data, ["id", "array"])

# Развертываем массив
result = df.select(
    "id",
    explode("array").alias("value")
).show()

# Результат:
# +---+-----+
# | id|value|
# +---+-----+
# |  1|    a|
# |  1|    b|
# |  1|    c|
# |  2|    x|
# |  2|    y|
# +---+-----+

Примечания

• Если массив или Map пустой или NULL, строка будет пропущена
• Для сохранения строк с пустыми массивами используйте explode_outer()
• Для развертывания с сохранением позиции элемента используйте posexplode()
• Для развертывания Map-столбца используйте explode() с Map-столбцом