unix_date(col)
Описание
Функция unix_date()
преобразует дату в количество дней, прошедших с 1970-01-01.
Параметры
col
: Column - столбец с датой для преобразования
Возвращаемое значение
Integer - количество дней с 1970-01-01
Пример использования
from pyspark.sql.functions import unix_date, to_date
from pyspark.sql import SparkSession
# Создаем SparkSession
spark = SparkSession.builder.appName("unix_date_example").getOrCreate()
# Создаем DataFrame
data = [
("2023-01-01"),
("2023-02-01"),
("2023-03-01")
]
df = spark.createDataFrame(data, ["date_str"])
# Преобразуем строки в даты и затем в количество дней
result = df.select(
"date_str",
unix_date(to_date("date_str")).alias("days")
).show()
# Результат:
# +----------+----+
# |date_str |days|
# +----------+----+
# |2023-01-01|19358|
# |2023-02-01|19389|
# |2023-03-01|19417|
# +----------+----+
Примечания
- Для преобразования количества дней обратно в дату используйте
date_from_unix_date()
- Для преобразования timestamp в количество секунд используйте
unix_timestamp()
- Для преобразования timestamp в количество миллисекунд используйте
unix_millis()
- Для преобразования timestamp в количество микросекунд используйте
unix_micros()