array_insert(arr, pos, value)
Описание
Функция array_insert() добавляет элемент в заданный массив в указанный индекс массива. Индексы массива начинаются с 1.
Параметры
arr: Column - исходный массивpos: int - позиция для вставки (1-базированная)value: Any - значение для вставки
Возвращаемое значение
Array - новый массив с вставленным элементом
Пример использования
from pyspark.sql.functions import array_insert, array, lit
# Создаем DataFrame с массивами
df = spark.createDataFrame([
    ([1, 2, 3, 4],),
    (["a", "b", "c", "d"],),
    (None,)
], ["array_col"])
# Вставляем элементы
df.select(
    "array_col",
    array_insert("array_col", 2, 10).alias("inserted_number"),
    array_insert("array_col", 3, "x").alias("inserted_letter")
).show(truncate=False)
# Результат:
# +------------+----------------+----------------+
# |array_col   |inserted_number |inserted_letter |
# +------------+----------------+----------------+
# |[1, 2, 3, 4]|[1, 10, 2, 3, 4]|[1, 2, x, 3, 4]|
# |[a, b, c, d]|[a, 10, b, c, d]|[a, b, x, c, d]|
# |null        |null           |null           |
# +------------+----------------+----------------+
# Пример с разными типами данных
df = spark.createDataFrame([
    ([1.0, 2.0],),
    ([True, False],),
    ([None, 1],)
], ["values"])
df.select(
    "values",
    array_insert("values", 1, 3.0).alias("inserted_float"),
    array_insert("values", 2, True).alias("inserted_bool")
).show(truncate=False)
 Примечания
- Если массив NULL, возвращается NULL
 - Если позиция выходит за пределы массива, элемент добавляется в конец
 - Для добавления элемента в начало массива используйте 
array_prepend() - Для добавления элемента в конец массива используйте 
array_append() - Для создания массива используйте 
array()