Title here
Summary here
to_utc_timestamp
to_utc_timestamp(timestamp,tz)
to_utc_timestamp- это функция в PySpark, которая используется для преобразования временной метки в формате строки или столбца в UTC-время (время в формате Coordinated Universal Time). Функция принимает строку или столбец, содержащий временную метку, и возвращает соответствующее UTC-время.- Параметры
timestamp: Column or str. Имя столбца или выражение, содержащее временную метку для преобразования.tz: Часовой пояс, в котором указана временная метка. Например, “Europe/Moscow”.- Возвращает
Column, возвращает столбец с преобразованными значениями UTC-времени.
Пример
from pyspark.sql import SparkSession
from pyspark.sql.functions import to_utc_timestamp
# Создание Spark-сессии
spark = SparkSession.builder.appName("to_utc_timestamp_example").getOrCreate()
# Создание DataFrame
data = [("2022-01-01 12:00:00",), ("2022-02-01 15:30:00",)]
df = spark.createDataFrame(data, ["timestamp_str"])
# Преобразование столбца "timestamp_str" в UTC-время
df_with_utc_timestamp = df.withColumn("utc_timestamp", to_utc_timestamp(df.timestamp_str, "yyyy-MM-dd HH:mm:ss"))
# Вывод DataFrame с преобразованными значениями UTC-времени
df_with_utc_timestamp.show()
+-------------------+-------------------+
| timestamp_str | utc_timestamp |
+-------------------+-------------------+
| 2022-01-01 12:00:00|2022-01-01 12:00:00|
| 2022-02-01 15:30:00|2022-02-01 15:30:00|
+-------------------+-------------------+
pyspark to_utc_timestamp
| Добавлено в версии | 1.5.0. |
| Обновлено в версии | 3.4.0. |