Skip to content

input_file_block_length()

Описание

Функция input_file_block_length() возвращает длину текущего блока входного файла в байтах.

Параметры

Функция не принимает параметров.

Возвращаемое значение

Long - длина текущего блока входного файла в байтах

Пример использования

from pyspark.sql.functions import input_file_block_length
from pyspark.sql import SparkSession

# Создаем SparkSession
spark = SparkSession.builder.appName("input_file_block_length_example").getOrCreate()

# Читаем файл и получаем длину блока
df = spark.read.text("path/to/file.txt")
result = df.select(input_file_block_length().alias("block_length")).show()

# Результат:
# +-------------+
# |block_length|
# +-------------+
# |128         |
# +-------------+

Примечания

  • Возвращает длину блока только при чтении файлов
  • Для работы с файлами также используйте:
  • input_file_block_start() для получения начальной позиции блока
  • input_file_name() для получения имени входного файла