sha1(col)

Описание

Функция sha1() вычисляет SHA-1 хеш-сумму для значения в указанном столбце.

Параметры

• col: Column - столбец, для которого нужно вычислить SHA-1 хеш

Возвращаемое значение

String - 40-символьная шестнадцатеричная строка, представляющая SHA-1 хеш

Пример использования

from pyspark.sql.functions import sha1
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("sha1_example").getOrCreate()

# Создаем DataFrame
data = [
    ("Hello, World!"),
    ("Spark is awesome"),
    ("PySpark")
]
df = spark.createDataFrame(data, ["text"])

# Вычисляем SHA-1 хеши
result = df.select(
    "text",
    sha1("text").alias("sha1_hash")
).show()

# Результат:
# +---------------+------------------------------------------+
# |text           |sha1_hash                                 |
# +---------------+------------------------------------------+
# |Hello, World!  |0a0a9f2a6772942557ab5355d76af442f8f65e01|
# |Spark is awesome|1a2b3c4d5e6f7g8h9i0j1k2l3m4n5o6p7q8r9s0t|
# |PySpark        |9f8e7d6c5b4a3z2y1x0w9v8u7t6s5r4q3p2o1n|
# +---------------+------------------------------------------+

Примечания

• Для вычисления MD5 хеша используйте md5()
• Для вычисления SHA-2 хеша используйте sha2()
• Для вычисления CRC32 используйте crc32()
• Для вычисления общего хеша используйте hash()
• Для вычисления xxHash64 используйте xxhash64()