Title here
Summary here
to_timestamp
to_timestamp(col[,format])
to_timestamp - это функция в PySpark, которая используется для преобразования строки или столбца с временной меткой в объект Timestamp . Функция принимает строку или столбец, содержащий временную метку, и возвращает объект Timestamp .
- Параметры
col: Column or str. Имя столбца или выражение, содержащее временную метку для преобразования.format: Формат временной метки. Например, “yyyy-MM-dd HH:mm:ss”.- Возвращает
ColumnЗначение с типом TimestampType
to_timestamp example
from pyspark.sql import SparkSession
from pyspark.sql.functions import to_timestamp
# Создание Spark-сессии
spark = SparkSession.builder.appName("to_timestamp_example").getOrCreate()
# Создание DataFrame
data = [("2024-01-01 12:00:00",), ("2024-02-01 15:30:00",)]
df = spark.createDataFrame(data, ["timestamp_str"])
# Преобразование столбца "timestamp_str" в объекты Timestamp
df_with_timestamp = df.withColumn("timestamp", to_timestamp(df.timestamp_str, "yyyy-MM-dd HH:mm:ss"))
# Вывод DataFrame с преобразованными значениями временной метки
df_with_timestamp.show()
pyspark to_timestamp
| Добавлено в версии | 2.2.0. |
| Обновлено в версии | 3.4.0. |