bitmap_bucket_number(bitmap)
Описание
Функция bitmap_bucket_number()
возвращает номер корзины (bucket) для битовой карты.
Параметры
bitmap
: Column - битовая карта
Возвращаемое значение
Column - номер корзины битовой карты (тип Integer)
Пример использования
from pyspark.sql.functions import bitmap_bucket_number
from pyspark.sql import SparkSession
# Создаем SparkSession
spark = SparkSession.builder.appName("bitmap_bucket_number_example").getOrCreate()
# Создаем DataFrame с битовыми картами
data = [
(0b1010,), # 10 в двоичном виде
(0b1100,), # 12 в двоичном виде
(0b1111,) # 15 в двоичном виде
]
df = spark.createDataFrame(data, ["bitmap"])
# Получаем номера корзин
result = df.withColumn(
"bucket_number",
bitmap_bucket_number("bitmap")
)
result.show(truncate=False)
# Результат:
# +------+-------------+
# |bitmap|bucket_number|
# +------+-------------+
# |10 |0 |
# |12 |0 |
# |15 |0 |
# +------+-------------+
Примечания
- Возвращает NULL, если битовая карта NULL
- Номер корзины используется для оптимизации хранения и обработки битовых карт
- Полезно для:
- Оптимизации хранения битовых карт
- Группировки битовых карт
- Эффективной обработки больших наборов битовых карт
- Связанные функции:
bitmap_bit_position()
- позиция бита в картеbitmap_count()
- подсчет установленных битов