unix_date(col)

Описание

Функция unix_date() преобразует дату в количество дней, прошедших с 1970-01-01.

Параметры

col: Column - столбец с датой для преобразования

Возвращаемое значение

Integer - количество дней с 1970-01-01

Пример использования

from pyspark.sql.functions import unix_date, to_date
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("unix_date_example").getOrCreate()

# Создаем DataFrame
data = [
    ("2023-01-01"),
    ("2023-02-01"),
    ("2023-03-01")
]
df = spark.createDataFrame(data, ["date_str"])

# Преобразуем строки в даты и затем в количество дней
result = df.select(
    "date_str",
    unix_date(to_date("date_str")).alias("days")
).show()

# Результат:
# +----------+----+
# |date_str  |days|
# +----------+----+
# |2023-01-01|19358|
# |2023-02-01|19389|
# |2023-03-01|19417|
# +----------+----+

Примечания

Для преобразования количества дней обратно в дату используйте date_from_unix_date()
Для преобразования timestamp в количество секунд используйте unix_timestamp()
Для преобразования timestamp в количество миллисекунд используйте unix_millis()
Для преобразования timestamp в количество микросекунд используйте unix_micros()