Статья: СРАВНИТЕЛЬНЫЙ АНАЛИЗ ИНСТРУМЕНТОВ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ НА ПЛАТФОРМЕ HADOOP (2026)

Читать онлайн

Цель. В статье представлен всесторонний сравнительный обзор ведущих инструментов, используемых для обработки больших данных в экосистеме Apache Hadoop, с целью обеспечения организаций критериями выбора оптимального решения для различных типов рабочих нагрузок. Актуальность исследования обусловлена тем, что современный бизнес требует анализа данных всех форм и размеров, включая структурированные и неструктурированные, чтобы лучше понимать свою продукцию, клиентов и рынки. Рост объемов, скорости и разнообразия данных (Big Data) привел к необходимости разработки специализированных платформ для их обработки. Проблема нестабильности Apache Hive является ключевым архитектурным вызовом, поскольку Hive, является наиболее ресурсоемким в выполнении идентичных задач со Spark, так как начинает обработку входных данных без их предварительного анализа.

Метод. Проведен обзор источников, охватывающих широкий спектр инструментов и архитектурных решений для обработки больших данных в экосистеме Apache Hadoop и за ее пределами. Предложенная методология сочетает сравнительный анализ существующих подходов и комплексную методику выбора оптимальных инструментов и архитектурных решений для обработки больших данных.

Результат. Проанализированные характеристики Cloudera Impala и Apache Hive позволяют сделать вывод, что данные SQL-инструменты для аналитической обработки данных в экосистеме Hadoop дополняют друг друга.

Вывод. Полностью заменять Apache Spark на Flink преждевременно из-за потенциальной потребности в дополнительной инфраструктуре, но Flink является жизнеспособным решением для задач, требующих минимального времени отклика.

Ключевые фразы: информационная безопасность, большие данные, apache hadoop, apache hive (hive), cloudera impala (impala), apache flink (flink), spark structured streaming, kafka streams, OLAP, etl, OLTP, mpp
Автор (ы): Алексеева Анна Николаевна (Alekseeva A. N.), Резниченко Сергей Анатольевич (Reznichenko S. A.)
Журнал: ВЕСТНИК ДАГЕСТАНСКОГО ГОСУДАРСТВЕННОГО ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА. ТЕХНИЧЕСКИЕ НАУКИ

Предпросмотр статьи

Идентификаторы и классификаторы

SCI
Информатика
УДК
004.85. Обучение
Для цитирования:
АЛЕКСЕЕВА А. Н., РЕЗНИЧЕНКО С. А. СРАВНИТЕЛЬНЫЙ АНАЛИЗ ИНСТРУМЕНТОВ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ НА ПЛАТФОРМЕ HADOOP // ВЕСТНИК ДАГЕСТАНСКОГО ГОСУДАРСТВЕННОГО ТЕХНИЧЕСКОГО УНИВЕРСИТЕТА. ТЕХНИЧЕСКИЕ НАУКИ. 2026. Т. 53 № 2
Текстовый фрагмент статьи
Будьте первым, кто начнет обсуждение

Если у вас возникли вопросы или появились предложения по содержанию статьи, пожалуйста, направляйте их в рамках данной темы.