Создание кластера

Для создания кластера:

  1. Выберите EI Enterprise Intelligence → MapReduce Service.

  2. Нажмите Create Cluster.

  3. Выберите способ создания кластера:

    • Quick Config — с предустановленными настройками.

    • Custom Config — с гибким управлением настройками кластера.

Создание кластера Quick Config

  1. Выберите вкладку Quick Config.

  2. Задайте параметры кластера:

    • Cluster Name — название.

    • Cluster Version — версия.

    • Component — тип кластера, который нужно создать:

      • Hadoop Analysis Cluster — подробнее об архитектуре и принципах работы Hadoop можно узнать здесь.

      • HBase Query Cluster — подробнее об архитектуре и принципах работы HBase в инструкции.

      • Kafka Streaming Cluster — подробнее об архитектуре и принципах работы Kafka можно узнать в инструкции.

      • ClickHouse Cluster — подробнее о принципах работы ClickHouse можно узнать в документации.

  3. Определите количество и конфигурацию узлов кластера в блоке Cluster Node:

    • Master — управляющий узел. По умолчанию в кластере три управляющих узла.

    • Streaming Core, Analysis Core или ClickHouse — узлы для обработки и хранения данных. Тип узла зависит от выбранного кластера.

      Примечание

      Для изменения конфигурации узла используйте значок Изменить (Edit). От конфигурации зависит число ядер, объем памяти, размер дисков и пропускная способность узла.

  4. Введите и подтвердите пароль. Пароль будет единым для авторизации как в узле кластера, так и в MRS Manager.

    Примечание

    Username — имя пользователя для авторизации в узле (в сервере ECS) — «root», имя пользователя для авторизации в MRS Manager — «admin».

  5. Проверьте настройки. Все настройки создаваемого кластера отражаются в окне справа.

    Внимание

    Обратите внимание, что при быстром варианте создания кластера проверка аутентификации Kerberos по умолчанию включена. Если нужен кластер с отключенной проверкой, то необходимо перейти к созданию кластера с пользовательскими настройками — Custom Config.

    В этом окне приведены полные настройки кластера: параметры настройки аппаратного и программного обеспечения, конфигурация управляющих и прочих узлов.

  6. Включите защищенное соединение — активируйте опцию Secure Communications.

  7. Нажмите Create Now.

Создание кластера занимает несколько минут. После создания статус кластера изменится с Starting на Running.

Создание кластера Custom Config

Выберите вкладку Custom Config.

Подготовка кластера состоит из трех этапов:

  1. Configure Software — конфигурация программного обеспечения.

  2. Configure Hardware — конфигурация аппаратного обеспечения.

  3. Set Advanced Options — выбор расширенных настроек.

Configure Software

На этом шаге определяются параметры программного обеспечения кластера.

  1. Укажите параметры кластера:

    • Cluster Name — название.

    • Cluster Version — версия.

    • Cluster Type — тип кластера, который нужно создать:

      • Analysis Cluster — для анализа данных в автономном режиме, обеспечивается работой компонентов Hadoop;

      • Streaming Cluster — для выполнения потоковых (streaming) задач;

      • Hybrid Cluster — для потоковых (streaming) задач и для задач, исполняемых в автономном режиме, сочетает в себе возможности кластеров Analysis и Streaming;

      • Custom — для выбора компонентов в ручном режиме.

  2. Component — определите необходимые для установки компоненты.

  3. Kerberos Authentication — задайте режим проверки подлинности:

    • аутентификация Kerberos (режим безопасности) — переключатель активирован;

    • простая аутентификация (обычный режим) — переключатель деактивирован.

  4. Введите и подтвердите пароль для авторизации в MRS Manager.

    Примечание

    По умолчанию для авторизации в MRS Manager используется логин admin.

  5. Нажмите Next.

Configure Hardware

Задайте параметры аппаратного обеспечения кластера:

  1. AZ — выберите зону доступности.

  2. VPC — выберите из списка сеть. Нажмите на View VPC для управления сетями или создания новой сети. Для обновления списка воспользуйтесь значком Обновить (Refresh).

  3. Subnet — выберите из списка подсеть.

  4. Security Group — выберите из списка группу безопасности или оставьте группу по умолчанию. Нажмите на Manage Security Group для управления группами или создания новой группы безопасности. Для обновления списка воспользуйтесь значком Обновить (Refresh).

  5. EIP — выберите из списка IP-адрес или оставьте Bind later, если EIP не требуется. Нажмите на Manage EIP для управления IP-адресами или создания нового адреса. Для обновления списка воспользуйтесь значком Обновить (Refresh).

  6. Определите количество и конфигурацию узлов кластера в блоке Cluster Node:

    • Master — управляющий узел. По умолчанию в кластере два управляющих узла.

    • Analysis Core или Streaming Core — узлы для обработки и хранения данных.

    • Analysis Task или Streaming Task — узлы для обработки данных.

    Примечание

    Для изменения характеристик узла используйте значок Изменить (Edit). От конфигурации зависит число ядер, объем памяти, размер дисков и пропускная способность узла.

  7. В поле Login Mode выберите один из режимов аутентификации в узле (на сервере ECS) — Password или Key Pair:

    • Password: «root» — логин по умолчанию для авторизации в узле, в поля Password и Confirm Password введите и подтвердите пароль.

    • Key Pair: выберите из списка ключевую пару. Нажмите на View Key Pair для создания новой пары ключей. Для обновления списка воспользуйтесь значком Обновить (Refresh). Активируйте чек-бокс с соглашением.

  8. Нажмите Next.

Set Advanced Options

При необходимости настройте автомасштабирование, представительство, оповещения и другие расширенные параметры:

  1. Auto Scaling — функция автомасштабирования позволяет определить количество рабочих узлов, которое можно автоматически увеличить или уменьшить в зависимости от загрузки сервиса или временного диапазона, что обеспечивает бесперебойную работу сервисов.

    Примечание

    Автомасштабирование можно настроить только для рабочих узлов (nodes) кластера. Для добавления узлов вернитесь на предыдущий шаг Configure Hardware и добавьте узлы для Analysis Task и/или Streaming Task.

    Для настройки автомасштабирования активируйте переключатель и выберите, какие из правил масштабирования нужно добавить:

    1. Default Node Range — минимальное и максимальное количество узлов в Analysis и/или Streaming task по умолчанию.

    2. Add Resource Plan — временной интервал и диапазон количества узлов.

    3. Add Auto Scaling Rule — правила на увеличение или на уменьшение количества рабочих узлов.

    4. Add Automation Script — скрипт, который будет запущен на нужном узле (Master, Analysis Core, Streaming Core, Analysis Task или Streaming Task) до или после процедуры автомасштабирования. Скрипт необходимо предварительно загрузить в корзину OBS.

      См.также

      Инструкцию по созданию корзины и загрузке объектов в нее можно посмотреть в разделе OBS.

      ../_images/s__analysis-task.jpeg

  2. Agency — задайте привязку представительства. Представительство позволяет ECS или BMS управлять ресурсами MRS. Подробнее в инструкции Accessing OBS Using an ECS Agency.

  3. Alarm — если функция сигнализации включена, администратор кластера сможет своевременно получать уведомления об обнаружении неисправностей или неправильной работе кластера.

    • Rule Name — название правила для отправки сообщений. Может содержать только цифры, буквы, дефисы и подчеркивания.

    • Topic Name — выберите существующую тему или создайте новую. Чтобы доставлять сообщения, опубликованные в теме, необходимо добавить подписчика в эту тему. Подробнее в инструкции Adding Subscriptions to a Topic.

  4. Включите защищенное соединение — активируйте опцию Secure Communications.

  5. Проверьте настройки кластера в окне справа и нажмите Create Now.

Создание кластера занимает несколько минут. После создания статус кластера изменится с Starting на Running.