now()
Описание
Функция now()
возвращает текущую дату и время.
Параметры
Функция не принимает параметров.
Возвращаемое значение
Column - текущая дата и время
Пример использования
from pyspark.sql.functions import now
from pyspark.sql import SparkSession
# Создаем SparkSession
spark = SparkSession.builder.appName("now_example").getOrCreate()
# Создаем DataFrame
data = [
(1,),
(2,),
(3,)
]
df = spark.createDataFrame(data, ["id"])
# Добавляем текущую дату и время
df = df.withColumn("current_time", now())
df.show(truncate=False)
# Результат:
# +---+-------------------+
# |id |current_time |
# +---+-------------------+
# |1 |2023-12-20 15:30:45|
# |2 |2023-12-20 15:30:45|
# |3 |2023-12-20 15:30:45|
# +---+-------------------+
Примечания
- Возвращает одинаковое значение для всех строк в одном запросе
- Полезно для:
- Отметки времени создания записей
- Логирования событий
- Аудита изменений
- Связанные функции:
current_timestamp()
- текущая метка времениcurrent_date()
- текущая датаlocaltimestamp()
- локальная метка времени