monotonically_increasing_id()

Описание

Функция monotonically_increasing_id() генерирует монотонно возрастающий уникальный идентификатор для каждой строки.

Параметры

Нет параметров

Возвращаемое значение

Long - уникальный идентификатор

Пример использования

from pyspark.sql.functions import monotonically_increasing_id
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("monotonically_increasing_id_example").getOrCreate()

# Создаем DataFrame с данными
data = [("John", 25), ("Alice", 30), ("Bob", 35)]
df = spark.createDataFrame(data, ["name", "age"])

# Добавляем уникальный идентификатор
result = df.select(
    monotonically_increasing_id().alias("id"),
    "name",
    "age"
).show()

# Результат:
# +---+-----+---+
# |id |name |age|
# +---+-----+---+
# |0  |John |25 |
# |1  |Alice|30 |
# |2  |Bob  |35 |
# +---+-----+---+

Примечания

• Идентификаторы монотонно возрастают, но могут иметь пропуски
• Идентификаторы уникальны в пределах DataFrame
• Для генерации последовательных чисел используйте row_number()
• Для генерации UUID используйте uuid()