abs(col) | Возвращает абсолютное значение числа. |
acos(col) | Вычисляет арккосинус. |
acosh(col) | Вычисляет гиперболический арккосинус. |
add_months(startDate, numMonths) | Добавляет указанное количество месяцев к дате. |
approx_count_distinct(col, rsd) | Возвращает приблизительное количество уникальных значений. |
approx_percentile(col, percentage, accuracy) | Вычисляет приблизительный процентиль. |
array(col1, col2, ...) | Создает массив из указанных значений. |
array_contains(col, value) | Проверяет наличие значения в массиве. |
array_distinct(col) | Удаляет дубликаты из массива. |
array_except(col1, col2) | Возвращает массив элементов из первого массива, которых нет во втором. |
array_intersect(col1, col2) | Возвращает массив общих элементов. |
array_join(col, delimiter, nullReplacement) | Объединяет элементы массива в строку. |
array_max(col) | Возвращает максимальный элемент массива. |
array_min(col) | Возвращает минимальный элемент массива. |
array_position(col, value) | Возвращает позицию значения в массиве. |
array_remove(col, value) | Удаляет все вхождения значения из массива. |
array_repeat(col, count) | Создает массив, повторяя значение указанное количество раз. |
array_sort(col) | Сортирует элементы массива. |
array_union(col1, col2) | Объединяет два массива, удаляя дубликаты. |
arrays_overlap(col1, col2) | Проверяет наличие общих элементов в массивах. |
arrays_zip(*cols) | Объединяет несколько массивов в один массив кортежей. |
col(col) | Возвращает столбец на основе заданного имени столбца. |
column(col) | Возвращает столбец на основе заданного имени столбца. |
lit(col) | Создает столбец с литеральным значением. |
broadcast(df) | Отмечает DataFrame как достаточно маленький для использования в широковещательных соединениях. |
coalesce(*cols) | Возвращает первый столбец, который не является null. |
input_file_name() | Создает строковый столбец для имени файла текущей задачи Spark. |
isnan(col) | Выражение, которое возвращает true, если столбец является NaN. |
isnull(col) | Выражение, которое возвращает true, если столбец является null. |
monotonically_increasing_id() | Столбец, который генерирует монотонно возрастающие 64-битные целые числа. |
named_struct(*cols) | Создает структуру с заданными именами полей и значениями. |
nanvl(col1, col2) | Возвращает col1, если он не NaN, или col2, если col1 NaN. |
rand([seed]) | Генерирует случайный столбец с независимыми и одинаково распределенными (i.i.d.) выборками, равномерно распределенными в [0.0, 1.0). |
randn([seed]) | Генерирует столбец с независимыми и одинаково распределенными (i.i.d.) выборками из стандартного нормального распределения. |
spark_partition_id() | Столбец для идентификатора раздела. |
when(condition, value) | Оценивает список условий и возвращает одно из нескольких возможных выражений результата. |
bitwise_not(col) | Вычисляет побитовое отрицание. |
bitwiseNOT(col) | Вычисляет побитовое отрицание. |
expr(str) | Разбирает строку выражения в столбец, который она представляет |
greatest(*cols) | Возвращает наибольшее значение списка имен столбцов, пропуская null значения. |
least(*cols) | Возвращает наименьшее значение списка имен столбцов, пропуская null значения. |