log2
Теги: mathematical functions pyspark
Описание
Функция log2()
вычисляет логарифм числа по основанию 2.
Параметры
col
: Column - числовой столбец
Возвращаемое значение
Column - логарифм по основанию 2
Пример
from pyspark.sql import SparkSession
from pyspark.sql.functions import log2
# Создаем Spark сессию
spark = SparkSession.builder.appName("log2_example").getOrCreate()
# Создаем DataFrame с числами
data = [(2,), (4,), (8,), (16,)]
df = spark.createDataFrame(data, ["value"])
# Вычисляем логарифм по основанию 2
df = df.withColumn("log2", log2("value"))
df.show()
# Вывод:
# +-----+----+
# |value|log2|
# +-----+----+
# | 2| 1.0|
# | 4| 2.0|
# | 8| 3.0|
# | 16| 4.0|
# +-----+----+
Примечания
- Логарифм по основанию 2 числа x - это степень, в которую нужно возвести 2, чтобы получить x
- Возвращает NULL, если входное значение NULL
- Для отрицательных чисел возвращает NULL
- Для нуля возвращает -inf
- Полезно для вычисления информационной энтропии и в алгоритмах сжатия данных