BC/NW 2025 № 1 (42):6.1
ОБРАБОТКА В
РЕАЛЬНОМ ВРЕМЕНИ ДАННЫХ С УМНЫХ УСТРОЙСТВ (IoT) С ИСПОЛЬЗОВАНИЕМ APACHE KAFKA И
APACHE FLINK С ИНТЕГРАЦИЕЙ МАШИННОГО ОБУЧЕНИЯ ДЛЯ ПРЕДСКАЗАНИЯ СОБЫТИЙ
Соколовский
Н.А., Данилин Д.Г.
С развитием Интернета вещей (IoT) умные
устройства стали неотъемлемой частью современного мира. В связи с этим, одной
из фундаментальных задач является обработка данных, полученных с этих
устройств, в реальном времени для обеспечения мониторинга, анализа и принятия
решений.
Современные технологии потоковой
обработки, такие как Apache Kafka и Apache Flink, обеспечивают высокую
производительность и масштабируемость для таких систем.
Данные, поступающие с IoT-устройств,
включают информацию о температуре, влажности, биометрические показатели и
другие параметры. Для передачи этих данных используется Apache Kafka,
гарантирующая надежность и устойчивость к сбоям.
Дальнейшая обработка выполняется с
помощью Apache Flink, который позволяет анализировать данные в реальном времени,
выявлять аномалии и интегрировать машинное обучение для предсказания
критических событий.
Технология машинного обучения играет
ключевую роль в обработке данных.
Такие модели позволяют предсказывать
аномалии, такие как перегрев оборудования или сбои в работе систем. Использование
нейронных сетей для анализа позволяет эффективно обнаруживать критические
изменения. Создание таких систем предоставляет уникальные возможности для умных
домов, промышленности и здравоохранения, обеспечивает высокую
производительность, точность и надежность.
Развитие технологий реального времени
для Интернета вещей является катализатором для создания эффективного цифрового
общества.
Литература
1.
Carbone P., Katsifodimos A. Stream Processing with Apache Flink. —
O’Reilly Media, 2020.
2.
Al-Fuqaha A., Guizani M., Mohammadi M. Internet of Things: A Survey on Enabling
Technologies, Protocols and Applications. — IEEE Communications Surveys
& Tutorials, 2015.
3.
Ramjee R., Ghanem M.M., Wozniak M. Predictive Analytics with TensorFlow. —
Packt Publishing, 2020.
4.
Боронин П.Н., Кучерявый Е.А., Молчанов Д.А. Анализ IoT-сетей и их приложений. —
СПбГУТ, 2020.
5.
Иванов С.А., Серебряков С.Н. Интернет вещей: основы проектирования
и эксплуатации. —
Горячая линия-Телеком, 2020.