DataFrameReader.csv(path[, schema, sep, …]) | Загружает файл CSV и возвращает результат в виде DataFrame. |
DataFrameReader.format(source) | Указывает формат источника входных данных. |
DataFrameReader.jdbc(url, table[, column, …]) | Создает DataFrame, представляющий таблицу базы данных с именем table, доступную через JDBC URL url и свойства соединения. |
DataFrameReader.json(path[, schema, …]) | Загружает файлы JSON и возвращает результаты в виде DataFrame. |
DataFrameReader.load([path, format, schema]) | Загружает данные из источника данных и возвращает их в виде DataFrame. |
DataFrameReader.option(key, value) | Добавляет опцию ввода для основного источника данных. |
DataFrameReader.options(**options) | Добавляет опции ввода для основного источника данных. |
DataFrameReader.orc(path[, mergeSchema, …]) | Загружает файлы ORC, возвращая результат в виде DataFrame. |
DataFrameReader.parquet(*paths, **options) | Загружает файлы Parquet, возвращая результат в виде DataFrame. |
DataFrameReader.schema(schema) | Указывает схему ввода. |
DataFrameReader.table(tableName) | Возвращает указанную таблицу в виде DataFrame. |
DataFrameReader.text(paths[, wholetext, …]) | Загружает текстовые файлы и возвращает DataFrame, чья схема начинается с столбца строкового типа с именем "value", за которым следуют столбцы разбиения, если они есть. |
DataFrameWriter.bucketBy(numBuckets, col, *cols) | Разбивает вывод по указанным столбцам. |
DataFrameWriter.csv(path[, mode, …]) | Сохраняет содержимое DataFrame в формате CSV по указанному пути. |
DataFrameWriter.format(source) | Указывает формат основного источника вывода данных. |
DataFrameWriter.insertInto(tableName[, …]) | Вставляет содержимое DataFrame в указанную таблицу. |
DataFrameWriter.jdbc(url, table[, mode, …]) | Сохраняет содержимое DataFrame в внешнюю таблицу базы данных через JDBC. |
DataFrameWriter.json(path[, mode, …]) | Сохраняет содержимое DataFrame в формате JSON (формат текста JSON Lines или JSON с разделителями) по указанному пути. |
DataFrameWriter.mode(saveMode) | Указывает поведение при существовании данных или таблицы. |
DataFrameWriter.option(key, value) | Добавляет опцию вывода для основного источника данных. |
DataFrameWriter.options(**options) | Добавляет опции вывода для основного источника данных. |
DataFrameWriter.orc(path[, mode, …]) | Сохраняет содержимое DataFrame в формате ORC по указанному пути. |
DataFrameWriter.parquet(path[, mode, …]) | Сохраняет содержимое DataFrame в формате Parquet по указанному пути. |
DataFrameWriter.partitionBy(*cols) | Разбивает вывод по указанным столбцам на файловой системе. |
DataFrameWriter.save([path, format, mode, …]) | Сохраняет содержимое DataFrame в источнике данных. |
DataFrameWriter.saveAsTable(name[, format, …]) | Сохраняет содержимое DataFrame как указанную таблицу. |
DataFrameWriter.sortBy(col, *cols) | Сортирует вывод в каждом бакете по указанным столбцам на файловой системе. |
DataFrameWriter.text(path[, compression, …]) | Сохраняет содержимое DataFrame в текстовом файле по указанному пути. |
DataFrameWriterV2.using(provider) | Указывает провайдера для основного источника вывода данных. |
DataFrameWriterV2.option(key, value) | Добавляет опцию записи. |
DataFrameWriterV2.options(**options) | Добавляет опции записи. |
DataFrameWriterV2.tableProperty(property, value) | Добавляет свойство таблицы. |
DataFrameWriterV2.partitionedBy(col, *cols) | Разбивает созданную таблицу по указанным столбцам или преобразованиям. |
DataFrameWriterV2.create() | Создает новую таблицу из содержимого DataFrame. |
DataFrameWriterV2.replace() | Заменяет существующую таблицу содержимым DataFrame. |
DataFrameWriterV2.createOrReplace() | Создает новую таблицу или заменяет существующую таблицу содержимым DataFrame. |
DataFrameWriterV2.append() | Добавляет содержимое DataFrame к таблице вывода. |
DataFrameWriterV2.overwrite(condition) | Перезаписывает строки, соответствующие указанному фильтру, содержимым DataFrame в таблице вывода. |
DataFrameWriterV2.overwritePartitions() | Перезаписывает все разделы, для которых DataFrame содержит хотя бы одну строку, содержимым DataFrame в таблице вывода. |