unix_millis(col)

Описание

Функция unix_millis() преобразует timestamp в количество миллисекунд, прошедших с 1970-01-01 00:00:00 UTC.

Параметры

col: Column - столбец с timestamp для преобразования

Возвращаемое значение

Long - количество миллисекунд с 1970-01-01 00:00:00 UTC

Пример использования

from pyspark.sql.functions import unix_millis, to_timestamp
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("unix_millis_example").getOrCreate()

# Создаем DataFrame
data = [
    ("2023-01-01 12:00:00"),
    ("2023-02-01 15:30:00"),
    ("2023-03-01 18:45:00")
]
df = spark.createDataFrame(data, ["timestamp_str"])

# Преобразуем строки в timestamp и затем в миллисекунды
result = df.select(
    "timestamp_str",
    unix_millis(to_timestamp("timestamp_str")).alias("millis")
).show()

# Результат:
# +-------------------+-------------------+
# |timestamp_str      |millis             |
# +-------------------+-------------------+
# |2023-01-01 12:00:00|1672574400000      |
# |2023-02-01 15:30:00|1675258200000      |
# |2023-03-01 18:45:00|1677689100000      |
# +-------------------+-------------------+

Примечания

Для преобразования timestamp в количество секунд используйте unix_timestamp()
Для преобразования timestamp в количество микросекунд используйте unix_micros()
Для преобразования timestamp в количество дней используйте unix_date()
Для преобразования миллисекунд обратно в timestamp используйте timestamp_millis()