element_at(col, extraction)

Описание

Функция element_at() возвращает элемент массива по заданному индексу. Индексы массива начинаются с 1, или с конца, если индекс отрицательный.

Параметры

col: Column - массив для извлечения элемента
extraction: int - индекс элемента (1-базированный)

Возвращаемое значение

Any - элемент массива по указанному индексу

Пример использования

from pyspark.sql.functions import element_at, array, lit

# Создаем DataFrame с массивами
df = spark.createDataFrame([
    ([1, 2, 3, 4, 5],),
    (["a", "b", "c", "d", "e"],),
    (None,)
], ["array_col"])

# Извлекаем элементы
df.select(
    "array_col",
    element_at("array_col", 2).alias("second"),
    element_at("array_col", -1).alias("last"),
    element_at("array_col", 10).alias("out_of_bounds")
).show(truncate=False)

# Результат:
# +------------+------+----+------------+
# |array_col   |second|last|out_of_bounds|
# +------------+------+----+------------+
# |[1, 2, 3, 4, 5]|2     |5   |null        |
# |[a, b, c, d, e]|b     |e   |null        |
# |null        |null  |null|null        |
# +------------+------+----+------------+

# Пример с разными типами данных
df = spark.createDataFrame([
    ([1.0, 2.0, 3.0],),
    ([True, False],),
    ([None, 1],)
], ["values"])

df.select(
    "values",
    element_at("values", 1).alias("first"),
    element_at("values", -1).alias("last")
).show(truncate=False)