xxhash64(*cols)

Описание

Функция xxhash64() вычисляет 64-битный хеш xxHash для одного или нескольких столбцов.

Параметры

*cols: Column - один или несколько столбцов для хеширования

Возвращаемое значение

Long - 64-битный хеш xxHash

Пример использования

from pyspark.sql.functions import xxhash64
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("xxhash64_example").getOrCreate()

# Создаем DataFrame с данными
data = [("Hello", 1), ("World", 2), ("Spark", 3)]
df = spark.createDataFrame(data, ["text", "number"])

# Вычисляем xxHash64 для одного столбца
result1 = df.select(
    "text",
    xxhash64("text").alias("text_hash")
).show()

# Вычисляем xxHash64 для нескольких столбцов
result2 = df.select(
    "text",
    "number",
    xxhash64("text", "number").alias("combined_hash")
).show()

# Результат:
# +-----+-------------------+
# |text |text_hash          |
# +-----+-------------------+
# |Hello|-375576436552957538|
# |World|-375576436552957538|
# |Spark|-375576436552957538|
# +-----+-------------------+

# +-----+------+-------------------+
# |text |number|combined_hash      |
# +-----+------+-------------------+
# |Hello|     1|-375576436552957538|
# |World|     2|-375576436552957538|
# |Spark|     3|-375576436552957538|
# +-----+------+-------------------+