Index

Метод Описание
DataFrameReader.csv(path[, schema, sep, …]) Загружает файл CSV и возвращает результат в виде DataFrame.
DataFrameReader.format(source) Указывает формат источника входных данных.
DataFrameReader.jdbc(url, table[, column, …]) Создает DataFrame, представляющий таблицу базы данных с именем table, доступную через JDBC URL url и свойства соединения.
DataFrameReader.json(path[, schema, …]) Загружает файлы JSON и возвращает результаты в виде DataFrame.
DataFrameReader.load([path, format, schema]) Загружает данные из источника данных и возвращает их в виде DataFrame.
DataFrameReader.option(key, value) Добавляет опцию ввода для основного источника данных.
DataFrameReader.options(**options) Добавляет опции ввода для основного источника данных.
DataFrameReader.orc(path[, mergeSchema, …]) Загружает файлы ORC, возвращая результат в виде DataFrame.
DataFrameReader.parquet(*paths, **options) Загружает файлы Parquet, возвращая результат в виде DataFrame.
DataFrameReader.schema(schema) Указывает схему ввода.
DataFrameReader.table(tableName) Возвращает указанную таблицу в виде DataFrame.
DataFrameReader.text(paths[, wholetext, …]) Загружает текстовые файлы и возвращает DataFrame, чья схема начинается с столбца строкового типа с именем "value", за которым следуют столбцы разбиения, если они есть.
DataFrameWriter.bucketBy(numBuckets, col, *cols) Разбивает вывод по указанным столбцам.
DataFrameWriter.csv(path[, mode, …]) Сохраняет содержимое DataFrame в формате CSV по указанному пути.
DataFrameWriter.format(source) Указывает формат основного источника вывода данных.
DataFrameWriter.insertInto(tableName[, …]) Вставляет содержимое DataFrame в указанную таблицу.
DataFrameWriter.jdbc(url, table[, mode, …]) Сохраняет содержимое DataFrame в внешнюю таблицу базы данных через JDBC.
DataFrameWriter.json(path[, mode, …]) Сохраняет содержимое DataFrame в формате JSON (формат текста JSON Lines или JSON с разделителями) по указанному пути.
DataFrameWriter.mode(saveMode) Указывает поведение при существовании данных или таблицы.
DataFrameWriter.option(key, value) Добавляет опцию вывода для основного источника данных.
DataFrameWriter.options(**options) Добавляет опции вывода для основного источника данных.
DataFrameWriter.orc(path[, mode, …]) Сохраняет содержимое DataFrame в формате ORC по указанному пути.
DataFrameWriter.parquet(path[, mode, …]) Сохраняет содержимое DataFrame в формате Parquet по указанному пути.
DataFrameWriter.partitionBy(*cols) Разбивает вывод по указанным столбцам на файловой системе.
DataFrameWriter.save([path, format, mode, …]) Сохраняет содержимое DataFrame в источнике данных.
DataFrameWriter.saveAsTable(name[, format, …]) Сохраняет содержимое DataFrame как указанную таблицу.
DataFrameWriter.sortBy(col, *cols) Сортирует вывод в каждом бакете по указанным столбцам на файловой системе.
DataFrameWriter.text(path[, compression, …]) Сохраняет содержимое DataFrame в текстовом файле по указанному пути.
DataFrameWriterV2.using(provider) Указывает провайдера для основного источника вывода данных.
DataFrameWriterV2.option(key, value) Добавляет опцию записи.
DataFrameWriterV2.options(**options) Добавляет опции записи.
DataFrameWriterV2.tableProperty(property, value) Добавляет свойство таблицы.
DataFrameWriterV2.partitionedBy(col, *cols) Разбивает созданную таблицу по указанным столбцам или преобразованиям.
DataFrameWriterV2.create() Создает новую таблицу из содержимого DataFrame.
DataFrameWriterV2.replace() Заменяет существующую таблицу содержимым DataFrame.
DataFrameWriterV2.createOrReplace() Создает новую таблицу или заменяет существующую таблицу содержимым DataFrame.
DataFrameWriterV2.append() Добавляет содержимое DataFrame к таблице вывода.
DataFrameWriterV2.overwrite(condition) Перезаписывает строки, соответствующие указанному фильтру, содержимым DataFrame в таблице вывода.
DataFrameWriterV2.overwritePartitions() Перезаписывает все разделы, для которых DataFrame содержит хотя бы одну строку, содержимым DataFrame в таблице вывода.