timestamp_seconds(seconds)
Описание
Функция timestamp_seconds()
преобразует количество секунд с начала эпохи Unix (1970-01-01 00:00:00 UTC) во временную метку.
Параметры
seconds
: Column - количество секунд с начала эпохи Unix
Возвращаемое значение
Column - временная метка
Пример использования
from pyspark.sql.functions import timestamp_seconds, current_timestamp, unix_timestamp, lit
from pyspark.sql import SparkSession
# Создаем SparkSession
spark = SparkSession.builder.appName("timestamp_seconds_example").getOrCreate()
# Создаем DataFrame с секундами
data = [
(1710921600,), # 2024-03-20 00:00:00
(1710921601,), # 2024-03-20 00:00:01
(1710921602,) # 2024-03-20 00:00:02
]
df = spark.createDataFrame(data, ["seconds"])
# Преобразуем секунды во временные метки
df = df.withColumn("timestamp", timestamp_seconds("seconds"))
df.show(truncate=False)
# Результат:
# +--------+-----------------------+
# |seconds |timestamp |
# +--------+-----------------------+
# |1710921600|2024-03-20 00:00:00 |
# |1710921601|2024-03-20 00:00:01 |
# |1710921602|2024-03-20 00:00:02 |
# +--------+-----------------------+
Примечания
- Принимает количество секунд с начала эпохи Unix
- Возвращает NULL, если входное значение NULL
- Поддерживает точность до секунд
- Для преобразования в миллисекунды используйте
timestamp_millis()
- Для преобразования в микросекунды используйте
timestamp_micros()
- Полезно для работы с временными метками в секундах