array_contains(col, value)
Описание
Функция array_contains()
проверяет, содержит ли массив указанное значение. Возвращает NULL, если массив NULL, true, если массив содержит заданное значение, и false в противном случае.
Параметры
col
: Column - массив для проверкиvalue
: Any - значение для поиска
Возвращаемое значение
Boolean - true, если значение найдено, false если не найдено, NULL если массив NULL
Пример использования
from pyspark.sql.functions import array_contains, array, lit
# Создаем DataFrame с массивами
df = spark.createDataFrame([
([1, 2, 3, 4],),
(["a", "b", "c"],),
(None,)
], ["array_col"])
# Проверяем наличие значений
df.select(
"array_col",
array_contains("array_col", 3).alias("contains_3"),
array_contains("array_col", "b").alias("contains_b"),
array_contains("array_col", 5).alias("contains_5")
).show(truncate=False)
# Результат:
# +------------+----------+----------+----------+
# |array_col |contains_3|contains_b|contains_5|
# +------------+----------+----------+----------+
# |[1, 2, 3, 4]|true |false |false |
# |[a, b, c] |false |true |false |
# |null |null |null |null |
# +------------+----------+----------+----------+
# Пример с разными типами данных
df = spark.createDataFrame([
([1.0, 2.0, 3.0],),
([True, False],),
([None, 1],)
], ["values"])
df.select(
"values",
array_contains("values", 2.0).alias("contains_2.0"),
array_contains("values", True).alias("contains_true"),
array_contains("values", None).alias("contains_null")
).show(truncate=False)
Примечания
- Если массив NULL, возвращается NULL
- Поиск чувствителен к типу данных
- Для поиска позиции элемента используйте
array_position()
- Для получения элемента по индексу используйте
element_at()
- Для создания массива используйте
array()