Pyspark
Pyspark

array_size

array_size(col)
array_size - Возвращает количество элементов в массиве.
Параметры
col: Column or str. Массив, для которого нужно определить размер.
Возвращает
Column Количество элементов в массиве.

array_size example

from pyspark.sql import SparkSession
from pyspark.sql.functions import array, array_size

# Создание сессии Spark
spark = SparkSession.builder.appName("array_size_example").getOrCreate()

# Пример данных
data = [([1, 2, 3],), ([4, 5, 6, 7],), ([4, None, None, None],), ([],), ([None]),]
df = spark.createDataFrame(data, ["values"])
# Получение размера массивов
df_with_array_size = df.withColumn("array_length", array_size("values"))

# Отображение результата
df_with_array_size.show(truncate=False)


from pyspark.sql import SparkSession
from pyspark.sql.functions import array, array_size

# Создание сессии Spark
spark = SparkSession.builder.appName("array_size_example").getOrCreate()

# Пример данных
data = [([1, 2, 3],), ([4, 5, 6, 7],), ([4, None, None, None],), ([],), ([None]),]
df = spark.createDataFrame(data, ["values"])
# Получение размера массивов
df_with_array_size = df.withColumn("array_length", array_size("values"))

# Отображение результата
df_with_array_size.show(truncate=False)
output
+---------------------+------------+
|values               |array_length|
+---------------------+------------+
|[1, 2, 3]            |3           |
|[4, 5, 6, 7]         |4           |
|[4, NULL, NULL, NULL]|4           |
|[]                   |0           |
|NULL                 |NULL        |
+---------------------+------------+

pyspark array_size

Добавлено в версии3.5.0.
array_repeat
array_union