Задания

Задание можно создать и запустить двумя способами:

• Через GIU.

• Через узел кластера.

Создание задания через GUI

1. Выберите EI Enterprise Intelligence → MapReduce Service.

2. В боковом меню слева выберите Clusters → Active Clusters.

3. Нажмите на имя кластера.

4. Перейдите на вкладку Jobs и нажмите кнопку Create.

   

5. Заполните следующие поля и нажмите кнопку ОК:

   1. Type — выберите тип задания «MapReduce».

   2. Name — укажите имя задания.

   3. Program Path — нажмите кнопку OBS и выберите путь к программе hadoop-mapreduce-examples-3.1.3.jar, которую загрузили в корзину в папку «program».

   4. Parameters — введите следующее: wordcount s3a://mrs-word/input/ s3a://mrs-word/output/, где s3a://mrs-word/input/ — путь к созданной ранее папке «input» в корзине mrs-word, а путь с output — путь к папке корзины, в которую будет выгружен результат задания.

   

6. В таблице появится запущенное задание.

Создание задания через узел кластера

1. Выберите EI Enterprise Intelligence → MapReduce Service.

2. В боковом меню слева выберите Clusters → Active Clusters.

3. Нажмите на имя кластера mrs_demo.

4. Перейдите на вкладку Nodes и раскройте master-узлы. Нажмите на имя узла node_master1.

   

5. В новом окне нажмите кнопку Remote Login.

6. Авторизуйтесь в узле — введите логин (root) и пароль.

7. Для настройки переменной среды введите команду:

   source /opt/client/bigdata_env

8. В целях безопасности, для авторизации текущего пользователя введите команду, а затем пароль:

   kinit MRS cluster username

   Параметр:

   MRS cluster username — логин текущего пользователя.

9. На данном шаге вам понадобятся ключи доступа AK и SK. Для копирования программы hadoop-mapreduce-examples-3.1.3.jar из корзины OBS введите следующую команду:

   hadoop fs -Dfs.s3a.access.key=AK -Dfs.s3a.secret.key=SK -copyToLocal source_path.jar target_path.jar
   

   Параметры:

   AK — Access Key ID.

   SK — Secret Access Key.

   source_path.jar — путь к программе hadoop-mapreduce-examples-3.1.3.jar в корзине OBS.

   target_path.jar — путь размещения программы на узле.

   Например, в нашем случае команда будет следующей (только подставьте свои ключи AK и SK):

   hadoop fs -Dfs.s3a.access.key=AK -Dfs.s3a.secret.key=SK -copyToLocal
   s3a://mrs-word/program/hadoop-mapreduce-examples-3.1.3.jar
   /home/omm/hadoop-mapreduce-examples-3.1.3.jar
   

   Примечание

   Для вставки команды в узел воспользуйтесь кнопкой Input Commands: вставьте команду и нажмите кнопку Send.

   

10. Для создания задания введите следующую команду:

    source /opt/client/bigdata_env;hadoop jar target_path wordcount -Dfs.s3a.access.key=AK -Dfs.s3a.secret.key=SK input_path
    

    Параметры:

    • target_path — путь размещения программы hadoop-mapreduce-examples-3.1.3.jar на узле.

    • AK — Access Key ID.

    • SK — Secret Access Key.

    • input_path — путь к созданной ранее папке «input» в корзине mrs-word.

    • output_path — путь к папке «output» в корзине, в которую будет выгружен результат задания.

    Например, в нашем случае команда будет следующей (только подставьте свои ключи AK и SK):

    source /opt/client/bigdata_env;hadoop jar /home/omm/hadoop-mapreduce-examples-3.1.3.jar wordcount -Dfs.s3a.access.key=AK -Dfs.s3a.secret.key= SK s3a://mrs-word/input/s3a://mrs-word/output/
    

    Задание запущено.