Исследование Cloud — облачная зрелость российского бизнеса
Архитектурный центр
Безопасность
Комьюнити
Вебинары
Блог
Новости
Информация
Общая информация
Юридические документы
Партнерская программа
Найти партнера
Контакты
Вакансии
Документация
О нас
Enterprise
Advanced
ML Space
Решения
Тарифы
Консультация
Вход Регистрация
Data Lake Insight. Руководство пользователя
  • Обзор Data Lake Insight
    • Возможности
    • Приложение. Связанные сервисы
  • Обзор консоли
  • Быстрый старт
  • Инструкции
    • Задания
      • Задания SQL
      • Задания Flink
      • Задания Spark
    • Очереди
      • Создание очереди
      • Управление разрешениями очередей
      • Изменение очереди
      • Создание уведомлений
      • Удаление очереди
    • Управление данными
      • Базы данных
      • Таблицы
        • Создание таблицы
        • Изменение владельца таблицы
        • Просмотр метаданных
        • Импорт данных в таблицу из корзины OBS
        • Экспорт данных из таблицы в корзину OBS
        • Конвертация CSV файла в Parquet формат
        • Удаление таблицы
      • Управление разрешениями
      • Package Management
      • OBS
    • Шаблоны заданий
      • SQL шаблоны
      • Flink шаблоны
    • Подключение к источнику данных
      • Enhanced Datasource Connection
      • Datasource Authentication
    • Глобальные переменные
  • Обучающие материалы
  • Вопросы и ответы
    • Общие вопросы
      • Что собой представляет сервис DLI?
      • Как создать пользователя?
      • Как изменить права пользователя?
      • Какие форматы данных поддерживает DLI?
      • Где можно хранить данные DLI?
      • Как можно использовать DLI, если данные не загружены в OBS?
      • Есть ли квота по использованию ресурсов сервиса?
      • Как можно узнать квоту на ресурсы?
      • Как увеличить квоту на ресурсы?
      • Как получить ключи доступа?
      • Как узнать ID проекта?
      • Что делать, когда при использовании топика SMN в сервисе DLI появляется сообщение о том, что топик SMN не существует?
      • Почему при попытки присвоить разрешение на базу данных или таблицу другому пользователю возникает ошибка?
    • Задания SQL
      • Как избежать искажения символов?
      • Что делать при высокой степени сжатия таблиц OBS?
      • Что делать, если при выгрузке данных из DLI в OBS происходит ошибка вида «path s3a://xxx already exists»?
      • При создании таблицы Hive с помощью CTAS появляется сообщение об ошибке синтаксического анализа схемы?
    • Задания Spark
      • Что делать при прекращении сессии во время выполнения задания Spark?
      • Как установить ключи доступа AK и SK очереди Spark для работы с таблицей OBS?
      • Что делать, если при выполнении задания Spark появилась ошибка вида «java.lang.AbstractMethodError»?
    • Задания Flink
      • Как в сервисе OBS сохранить Checkpoints для пользовательского задания Flink?
      • Как проверить результаты выполнения задания?
    • Подключения к источникам данных
      • Как выполнить запрос к данным, хранящимся в других сервисах, не в Data Lake Insight?
      • Как установить суррогатный ключ и другие автозаполняемые поля в таблице RDS при создании DLI и связывании DLI с таблицей RDS?
      • Почему при использовании нового подключения к источнику данных отображается сообщение об ошибке «communication link failure»?
    • Тарификация
      • Что такое CU?
      • Каким образом рассчитывается оплата использования CU?
      • Какие у DLI режимы тарификации?
  • Тарификация
  • Термины и сокращения
  • Товарные знаки
  • Обратиться в поддержку
Все документы
Data Lake Insight. Руководство пользователя
  • »
  • Инструкции »
  • Шаблоны заданий »
  • Flink шаблоны
Advanced

Flink шаблоны

Данный функционал позволяет как изменить существующий образец шаблона в соответствии с фактическими требованиями логики задания и сэкономить время на редактирование инструкций SQL, так и настроить шаблон задания под ваши нужды, для возможности непосредственного вызова или изменения шаблона в последующих заданиях.

На этой странице:

  • Sample Templates

    • Просмотр образца шаблона

    • Создание задания из образца шаблона

  • Custom Template

    • Создание Flink шаблона

    • Изменение Flink шаблона

    • Создание задания из шаблона

    • Удаление Flink шаблона

Sample Templates

Просмотр образца шаблона

  1. Выберите EI Enterprise Intelligence → Data Lake Insight.

  2. В боковом меню слева выберите Job Templates → Flink Templates.

  3. Выберите вкладку Sample Templates.

  4. Для просмотра кода запроса Flink нажмите на имя нужного шаблона.

    ../_images/s__flink-template-sample-view-1.jpeg
  5. На странице шаблона можно ознакомиться с содержимым кода, а также:

    1. Для создания задания на основе данного шаблона нажмите кнопку Create Job.

    2. Для смены темной/светлой темы окна редактора кода нажмите значок Change theme.

    ../_images/s__flink-template-sample-view-2.jpeg

Создание задания из образца шаблона

  1. Выберите EI Enterprise Intelligence → Data Lake Insight.

  2. В боковом меню слева выберите Job Templates → Flink Templates.

  3. Выберите вкладку Sample Templates.

  4. В строке с нужным шаблоном нажмите Create Job.

    ../_images/s__flink-template-sample-create-1.jpeg
  5. В данном окне заполните следующие поля и нажмите кнопку ОК:

    1. Type — для заданий на основании шаблона выберите Flink SQL.

    2. Name — укажите имя задания.

    3. Description — введите описание.

    4. Template Name — указано имя шаблона, на основании которого будет создано задание.

    ../_images/s__flink-template-sample-create-2.jpeg
  6. Далее, для работы с настройкой созданного задания, воспользуйтесь инструкцией по созданию задания Flink.

    ../_images/s__flink-template-sample-create-3.jpeg

Custom Template

Создание Flink шаблона

  1. Выберите EI Enterprise Intelligence → Data Lake Insight.

  2. В боковом меню слева выберите Job Templates → Flink Templates.

  3. Выберите вкладку Custom Templates.

  4. Нажмите кнопку Create Template.

    ../_images/s__flink-template-custom-create-1.jpeg
  5. Заполните следующие поля и нажмите кнопку ОК:

    1. Name — укажите имя шаблона.

    2. Description — ведите описание шаблона.

    ../_images/s__flink-template-custom-create-2.jpeg
  6. Введите код в окно редактора. Далее можно воспользоваться следующими опциями:

    1. Save — нажмите кнопку для сохранения кода в шаблоне.

    2. Create Job — создание задания Flink на основе данного шаблона.

    3. Format — форматирование кода.

    4. Change theme — смена темной/светлой темы окна редактора.

    5. Name — имя шаблона.

    6. Description — описание шаблона.

    7. Saving Mode — доступны два режима сохранения шаблона:

      • Modify — в данном режиме происходят правки в существующем шаблоне.

      • Create — данный режим соответствует опции «Сохранить как» (Save as). При выборе режима Create в поле Name необходимо изменить имя и все изменения будут сохранены в новый шаблон.

    ../_images/s__flink-template-custom-create-3.jpeg

Изменение Flink шаблона

  1. Выберите EI Enterprise Intelligence → Data Lake Insight.

  2. В боковом меню слева выберите Job Templates → Flink Templates.

  3. Выберите вкладку Custom Templates.

  4. В строке с нужным шаблоном нажмите Edit или нажмите на имя шаблона.

    ../_images/s__flink-template-custom-edit-1.jpeg
  5. На странице шаблона можно изменить содержимым кода. При редактировании шаблона доступны следующие опции:

    1. Save — нажмите кнопку для сохранения изменений.

    2. Create Job — создание задания Flink на основе данного шаблона.

    3. Format — форматирование кода.

    4. Change theme — смена темной/светлой темы окна редактора.

    5. Name — имя шаблона.

    6. Description — описание шаблона.

    7. Saving Mode — доступны два режима сохранения шаблона:

      • Modify — в данном режиме происходят правки в существующем шаблоне.

      • Create — данный режим соответствует опции «Сохранить как» (Save as). При выборе режима Create в поле Name необходимо изменить имя и все изменения будут сохранены в новый шаблон.

    ../_images/s__flink-template-custom-edit-2.jpeg

Создание задания из шаблона

  1. Выберите EI Enterprise Intelligence → Data Lake Insight.

  2. В боковом меню слева выберите Job Templates → Flink Templates.

  3. Выберите вкладку Custom Templates.

  4. В строке с нужным шаблоном нажмите Create Job.

    ../_images/s__flink-template-custom-create-job-1.jpeg
  5. В данном окне заполните следующие поля и нажмите кнопку ОК:

    1. Type — для заданий на основании шаблона выберите Flink SQL.

    2. Name — укажите имя задания.

    3. Description — введите описание.

    4. Template Name — указано имя шаблона, на основании которого будет создано задание.

    ../_images/s__flink-template-custom-create-job-2.jpeg
  6. Далее, для работы с настройкой созданного задания, воспользуйтесь инструкцией по созданию задания Flink.

    ../_images/s__flink-template-custom-create-job-3.jpeg

Удаление Flink шаблона

  1. Выберите EI Enterprise Intelligence → Data Lake Insight.

  2. В боковом меню слева выберите Job Templates → Flink Templates.

  3. Выберите вкладку Custom Templates.

  4. В строке с шаблоном к удалению нажмите Delete или активируйте чек-боксы с нужными шаблонами и нажмите кнопку Delete.

    ../_images/s__job-flink-delete-1.jpeg
  5. Нажмите кнопку ОК.

    ../_images/s__job-flink-delete-2.jpeg
Была ли эта статья полезной?
Следующая Предыдущая

© Авторские права 2023, Cloud

Собрано при помощи Sphinx с использованием темы, предоставленной Read the Docs.

На этой странице

  • Flink шаблоны
    • Sample Templates
    • Custom Template