array_position(col, value)
Описание
Функция array_position() находит позицию первого вхождения заданного значения в массиве. Возвращает 0, если значение не найдено, и null, если массив null.
Параметры
col: Column - массив для поискаvalue: Any - значение для поиска
Возвращаемое значение
Integer - позиция первого вхождения значения (1-базированная) или 0, если значение не найдено
Пример использования
from pyspark.sql.functions import array_position, array, lit
# Создаем DataFrame с массивами
df = spark.createDataFrame([
    ([1, 2, 3, 4, 5],),
    (["a", "b", "c", "d", "e"],),
    (None,)
], ["array_col"])
# Находим позиции значений
df.select(
    "array_col",
    array_position("array_col", 3).alias("pos_3"),
    array_position("array_col", "c").alias("pos_c"),
    array_position("array_col", 10).alias("pos_10")
).show(truncate=False)
# Результат:
# +------------+------+------+-------+
# |array_col   |pos_3 |pos_c |pos_10 |
# +------------+------+------+-------+
# |[1, 2, 3, 4, 5]|3     |0     |0      |
# |[a, b, c, d, e]|0     |3     |0      |
# |null        |null  |null  |null   |
# +------------+------+------+-------+
# Пример с разными типами данных
df = spark.createDataFrame([
    ([1.0, 2.0, 3.0],),
    ([True, False],),
    ([None, 1],)
], ["values"])
df.select(
    "values",
    array_position("values", 2.0).alias("pos_2.0"),
    array_position("values", True).alias("pos_true"),
    array_position("values", None).alias("pos_null")
).show(truncate=False)
 Примечания
- Если массив NULL, возвращается NULL
 - Если значение не найдено, возвращается 0
 - Поиск чувствителен к типу данных
 - Для проверки наличия значения используйте 
array_contains() - Для получения элемента по индексу используйте 
element_at()