MapReduce Service
Надежная, безопасная и простая в использовании платформа корпоративного уровня для хранения, обработки и анализа больших данных на базе ClickHouse
О продукте
Служба MapReduce (MRS) предоставляет полностью управляемые кластеры больших данных в облаке на базе ClickHouse и проектов Apache.
Названия аналогичных сервисов у зарубежных провайдеров:
- Amazon Web Services - сервис Amazon Elastic MapReduce (EMR)
- Microsoft Azure - сервис R Server для HDInsight
- Google Cloud Platform - сервис Cloud Dataproc
- IBM Cloud - Нет аналога
- Alibaba Cloud - Нет аналога
*Сопоставление сервисов с аналогами носит информационный характер, свободно от оценочной характеристики и сравнений в пользу кого-либо.
Возможности продукта
1
Поддержка ClickHouse, Apache Hadoop, Presto, Spark, Hbase, Hive, Tez, Hue, Loader, Kafka, Storm, Flume
2
Графический интерфейс для детального управления кластером и заданиями
3
Уровень доступности 99.95%
Характеристики продукта
Корпоративный уровень
MapReduce Service позволяет осуществлять планирование на корпоративном уровне для изоляции ресурсов и формировать соглашения об уровне обслуживания (SLA) для различных категорий пользователей. MRS развернут на десятках тысяч узлов.
Гибкость
Вы можете выбрать различные варианты и конфигурации развертывания на основе x86, а гибридные развертывания серверов Bare Metal и виртуальных машин поддерживаются в рамках одного кластера. Задачи в пиковые и внепиковые часы можно автоматически масштабировать на основе предварительно настроенных политик.
Высокий уровень безопасности
Аутентификация по протоколу Kerberos обуславливает использование сервисом MRS ролевой модели управления доступом и эффективных функций проверки и гарантирует полную безопасность.
Многоуровневая доступность
Экземпляры можно распределить по нескольким узлам кластера так, что, если отдельные узлы перестают работать, его экземпляры можно быстро перенести в другие узлы. Также поддерживается синхронизация данных между зонами доступности и резервное копирование. Все узлы управления сервисами в кластере поддерживают развертывание с высокой доступностью для обеспечения высокой степени надежности виртуальных машин и кластеров.
Высокая производительность
Получайте ответы за считанные секунды при анализе триллионов записей благодаря технологии индексации, материализации представлений и кэшированию. Крупномасштабный планировщик кластеров позволяет вам преодолеть традиционные ограничения развертывания одного кластера. Благодаря планировщику, возможности планирования одного кластера могут превысить 10 000 узлов.
Сценарии применения
Выберите сценарий:
- Миграция в облако
- Интернет для транспортных средств (IoV)
- Финансы и страхование
- Анализ общественного мнения
- Умная логистика
- «Умные» лифты (loE)
- Интеллектуальное управление водными ресурсами
- Игры
Миграция в облако
Миграция локальной платформы больших данных в облако. Локальные платформы Hadoop для работы с большими данными могут быть перенесены в облако, одновременно с миграцией сервисов и данных клиентов в MRS. На основе облачной среды можно быстро развернуть локальную систему, что позволит в будущем быстро расширять спектр сервисов.

Интернет для транспортных средств (IoV)
MapReduce Service использует экосистему с открытым исходным кодом, предоставляя автопроизводителям вычислительный механизм быстрой и эффективной обработки данных, позволяющий гибко переносить сервисы в облако. Кроме того, на основе MRS можно создать открытую, унифицированную, полнофункциональную платформу для анализа больших данных.

Финансы и страхование
MapReduce Service использует преимущества платформы больших данных на DeC, чтобы обеспечивать соблюдение строгих требований страховщиков в отношении нормативно-правового соответствия, безопасности и надежности. MRS позволяет модернизировать ИТ-архитектуру традиционных страховых компаний, оперативно создавать и внедрять сервисные системы в сфере страхования. Благодаря этому страховые компании получают возможность быстро осуществлять цифровую трансформацию, с легкостью внедрять инновационные сервисы и гибко расширять спектр предоставляемых услуг.

Анализ общественного мнения
Единая платформа больших данных MRS объединяет компоненты Kafka, Storm и HBase для сбора, анализа и обработки больших массивов данных. На основе полученной информации государственные учреждения и коммерческие предприятия предоставляют такие услуги, как мониторинг общественного мнения, анализ и распространение информации.

Умная логистика
Платформа анализа больших данных MapReduce Service используется для интеллектуального управления логистической деятельностью, повышения эффективности работы сервисов и значительного снижения затрат.

«Умные» лифты (loE)
MapReduce Service выступает в качестве открытой универсальной платформы для обработки больших данных, позволяя реализовать интеллектуальное управление лифтами с учетом стремительных бизнес-инноваций и гибких режимов обслуживания, применяемых в сфере loE.

Интеллектуальное управление водными ресурсами
MRS Hadoop оснащен высокопроизводительными, надежными, унифицированными функциями хранения и анализа больших данных для сценариев управления водными ресурсами.

Игры
Доступ к данным игрового журнала осуществляется через Kafka и Flume в режиме реального времени. Spark Streaming обрабатывает и анализирует данные в режиме реального времени и сохраняет полученные результаты в HBase или Hive, позволяя быстро выполнять запросы, а также анализировать рекламу в играх, данные и доходы.
