element_at(col, extraction)
Описание
Функция element_at()
возвращает элемент массива по заданному индексу. Индексы массива начинаются с 1, или с конца, если индекс отрицательный.
Параметры
col
: Column - массив для извлечения элементаextraction
: int - индекс элемента (1-базированный)
Возвращаемое значение
Any - элемент массива по указанному индексу
Пример использования
from pyspark.sql.functions import element_at, array, lit
# Создаем DataFrame с массивами
df = spark.createDataFrame([
([1, 2, 3, 4, 5],),
(["a", "b", "c", "d", "e"],),
(None,)
], ["array_col"])
# Извлекаем элементы
df.select(
"array_col",
element_at("array_col", 2).alias("second"),
element_at("array_col", -1).alias("last"),
element_at("array_col", 10).alias("out_of_bounds")
).show(truncate=False)
# Результат:
# +------------+------+----+------------+
# |array_col |second|last|out_of_bounds|
# +------------+------+----+------------+
# |[1, 2, 3, 4, 5]|2 |5 |null |
# |[a, b, c, d, e]|b |e |null |
# |null |null |null|null |
# +------------+------+----+------------+
# Пример с разными типами данных
df = spark.createDataFrame([
([1.0, 2.0, 3.0],),
([True, False],),
([None, 1],)
], ["values"])
df.select(
"values",
element_at("values", 1).alias("first"),
element_at("values", -1).alias("last")
).show(truncate=False)
Примечания
- Если массив NULL, возвращается NULL
- Если индекс выходит за пределы массива, возвращается NULL
- Для получения размера массива используйте
array_size()
- Для получения среза массива используйте
slice()
- Для создания массива используйте
array()