KZ

Технология распределенной потоковой передачи данных

  • Цель дисциплины состоит в формировании способности обеспечить сбор и обработку данных поведение пользователя на сайте, потоки информации с множества конечных устройств IoT и IIoT, агрегация журналов работы приложений, агрегация статистики из распределенных приложений для корпоративных витрин данных (ETL-хранилищ), журналирование событий. В рамках дисциплины рассматриваются следующие аспекты: Основные концепции Kafka и базовые операции. Архитектура Kafka. Основные термины. Изучение основных компонентов Kafka, принципы их взаимодействия и killer features данной технологии Kafka workflow. Работа по модели Pub/Sub и Queue/Consumer Group. Изучение 2 возможных режима работы Кafka, а также их отличия и основные причины выбирать тот или другой. Понятие Topic-а в Kafka. Управление Topic-ами из консоли. Обучение разделять сообщения по группам и управлять ими как из кода, так и из консоли. Kafka Producer. Публикация сообщений с помощью кода. Погрузимся в детальную настройку Kafka Producerа и best practices на стороне производителя сообщений Kafka Consumer. Прием сообщений point-to-point. Обучение принимать сообщения и завершение на практике минимального сценария работы приложения. Kafka Broadcasting and Groups. Гибкий процесс приема сообщений. Научимся настраивать группы для работы с сообщениями в режиме broadcasting.
  • Образовательная программа 6B06107 Наука о данных
  • ВУЗ Казахский национальный университет имени аль-Фараби
  • Кредитов 5
  • Селективная дисциплина
  • Год обучения 3
  • Семестр 6
Top