Создание кластера

Настройка программного обеспечения

  1. Выберите EI Enterprise Intelligence → MapReduce Service.

  2. Нажмите на кнопку Create Cluster.

    ../_images/s__button-create-cluster.jpeg

  3. Выберите режим Custom Config.

  4. Далее укажите:

    1. Cluster Name — имя кластера.

    2. Cluster Type — в Analysis cluster выберите все компоненты.

    ../_images/s__settings-custom-config.jpeg

  5. На странице ниже сделайте следующее и нажмите кнопку Next:

    1. Kerberos Authentication — отключите проверку аутентификации Kerberos.

    2. Username — по умолчанию имя пользователя admin для авторизации в MRS Manager.

    3. Password и Confirm Password — укажите и подтвердите пароль для авторизации в MRS Manager.

    ../_images/s__next-settings-custom-config.jpeg

Настройка средств аппаратного обеспечения

  1. Заполните следующие поля:

    • AZ — выберите зону доступности.

    • VPC — выберите из списка сеть.

    • Subnet — выберите из списка подсеть.

  2. На странице ниже заполните следующие поля и нажмите кнопку Next:

    1. Login Mode — выберите режим Password.

    2. Username — по умолчанию имя пользователя «root» для авторизации в узле ECS.

    3. Password и Confirm Password — укажите и подтвердите пароль для авторизации в узле ECS.

    ../_images/s__settings-log-pass.jpeg

  3. В новом окне нажмите кнопку Create Now.

  4. Нажмите кнопку Back to Cluster List.

  5. Создание кластера займет некоторое время. Необходимо дождаться пока его статус не изменится на Running. Для обновления статуса кластера воспользуйтесь значком button__refresh (Refresh).

    ../_images/s__creating-cluster-process.jpeg

Подготовка программы и файлов с данными

На данном этапе будут использоваться тестовые примеры файлов с данными, а также программа Hadoop с установленным на нее компонентом wordcount.

  1. Перейдите по ссылке для скачивания программы Hadoop с установленным компонентом wordcount.

  2. Выберите, например, hadoop-3.1.3.tar.gz. Распакуйте его. Программу hadoop-mapreduce-examples-3.1.3.jar вы найдете в директории hadoop-3.1.3\share\hadoop\mapreduce.

    ../_images/s__hadoop-download.jpeg

  3. Подготовьте пару файлов формата txt. В данном примере используем файлы wordcount1.txt и wordcount2.txt.

    ../_images/s__example-notes.jpeg

  4. Выберите сервис Storage → Object Storage Service.

  5. Нажмите кнопку Create Bucket.

  6. В поле Bucket Name укажите имя корзины и нажмите кнопку Create.

  7. Нажмите на имя корзины.

  8. Перейдите в раздел Objects и нажмите кнопку Create Folder.

  9. В поле Folder Name введите «program» и нажмите кнопку ОК. После чего создайте еще одну папку с именем «input».

  10. Перейдите в папку «program», нажмите кнопку Upload Object. Нажмите Add file и выберите скачанную ранее программу Hadoop, после чего нажмите кнопку Upload.

    ../_images/s__upload-object.jpeg

  11. Перейдите в папку «input» и загрузите созданные ранее файлы wordcount1.txt и wordcount2.txt по аналогии с предыдущим пунктом.

  12. Теперь нужно создать и запустить задание (job).