В чем назначение различных узлов кластера (master, core и task)?

У кластеров MapReduce Service узлы (nodes) подразделяются на Master, Core и Task. Они имеют различное назначение и задачи:

  • Master node является управляющим узлом в кластере. Главные процессы распределенной системы управления, MRS Manager и базы данных разворачиваются именно на master-узлах. Master-узлы нельзя масштабировать. Обрабатывающая способность master-узлов определяет верхний предел производительности всего кластера. MRS поддерживает масштабирование спецификаций главного узла для возможности управления более крупным кластером.

  • Core node используется как для хранения, так и для вычислений и может масштабироваться горизонтально. Поскольку на core-узлах развернуто хранилище данных, существуют некоторые ограничения на масштабирование для предотвращения потери данных. По этой причине core-узлы не поддерживают автоматическое масштабирование.

  • Task node используется только для вычислений и может масштабироваться горизонтально. Task-узлы выполняют только вычислительные задачи, поэтому автоматическое масштабирование возможно.

Запустили Evolution free tier
для Dev & Test
Получить