Data Engineering: Основы и Практика
Продолжительность: 26 недель, 156 академических часов
Календарно — тематический план:
1-2 Недели: Введение в Data Engineering
- Введение в область Data Engineering
- Роль и обязанности Data Engineer
- Обзор основных инструментов и технологий
3-4 Недели: Основы Python для Data Engineering
- Основы языка Python для работы с данными
- Работа с библиотеками для анализа данных (NumPy, Pandas)
- Обработка структурированных и неструктурированных данных
5-6 Недели: Работа с базами данных
- Введение в базы данных (SQL и NoSQL)
- Работа с реляционными базами данных (SQLAlchemy, SQLite)
- Работа с NoSQL базами данных (MongoDB)
7-8 Недели: Обработка данных с использованием Apache Spark
- Введение в Apache Spark
- Основные концепции и архитектура Spark
- Работа с RDD и DataFrame
- Обработка больших объемов данных
9-10 Недели: Работа с потоковыми данными
- Введение в потоковую обработку данных
- Работа с Apache Kafka для обработки потоков данных
- Работа с Apache Flink для потоковой обработки данных
11-12 Недели: Работа с облачными хранилищами данных
- Введение в облачные хранилища данных (Amazon S3, Google Cloud Storage)
- Работа с API облачных провайдеров для хранения и обработки данных
- Работа с большими данными в облаке
13-14 Недели: Проектирование и оптимизация хранилищ данных
- Проектирование реляционных и NoSQL баз данных
- Оптимизация запросов и индексирование данных
- Работа с техниками партиционирования и шардирования
15-16 Недели: Распределенные системы и инструменты
- Введение в распределенные системы
- Работа с инструментами управления кластером (Apache Hadoop, Kubernetes)
- Оптимизация производительности и масштабируемости
17-18 Недели: Построение ETL процессов
- Введение в ETL (Extract, Transform, Load) процессы
- Проектирование и разработка ETL процессов
- Автоматизация ETL с использованием инструментов (Apache Airflow)
19-20 Недели: Разработка и развертывание систем мониторинга и логирования
- Введение в системы мониторинга и логирования
- Работа с инструментами мониторинга (Prometheus, Grafana)
- Логирование и отладка приложений с использованием ELK стека
21-22 Недели: Разработка и развертывание потоковых аналитических приложений
- Введение в потоковую обработку данных для аналитических целей
- Использование Apache Kafka Streams для разработки потоковых приложений
- Работа с Apache Spark Structured Streaming для аналитической обработки данных в реальном времени
- Развертывание и масштабирование потоковых аналитических приложений в облачных окружениях
23-24 Недели: Проектная работа
- Студенты будут работать над проектом, демонстрирующим все полученные навыки и знания в области Data Engineering.
25-26 Недели: Заключительные занятия и подведение итогов
- Подведение итогов курса
- Обсуждение проектов студентов
- Рефлексия и дальнейшие шаги в развитии
Цель курса
Целью преподавания курса «Data Engineering: Основы и Практика» является подготовка студента к самостоятельному решению теоретических и прикладных задач при разработке программного обеспечения с управлением, обработкой и анализом для создания систем, работающих с большими объемами данных. Студент научится проектировать хранилища данных, обрабатывать данные, разрабатывать безопасность и алгоритмов для различных функций, связанных с данными.
Стоимость курса: 600 000 тенге
Формат курса: Онлайн
DevOps: Основы и Практика
Продолжительность: 26 недель, 156 академических часов
Календарно — тематический план:
1-2 Недели: Введение в DevOps
- Роль и цели DevOps в разработке ПО
- Обзор инструментов и методологий DevOps
3-4 Недели: Основы системного администрирования и командной строки
- Основы Linux/Unix командной строки
- Управление пользователями, файлами и процессами
5-6 Недели: Контейнеризация с Docker
- Введение в Docker и контейнеризацию
- Создание, управление и развертывание контейнеров
7-8 Недели: Оркестрация и управление контейнерами с Kubernetes
- Введение в Kubernetes и его основные компоненты
- Создание и управление кластерами, развертывание приложений
9-10 Недели: Непрерывная интеграция и развертывание (CI/CD) с использованием Jenkins
- Введение в концепцию CI/CD
- Настройка Jenkins для автоматизации сборки, тестирования и развертывания приложений
11-12 Недели: Конфигурационное управление с Ansible
- Введение в концепцию конфигурационного управления
- Создание и управление конфигурациями с использованием Ansible
13-14 Недели: Управление инфраструктурой как код с использованием Terraform
- Введение в инфраструктуру как код
- Создание и управление инфраструктурой с использованием Terraform
15-16 Недели: Мониторинг и журналирование с Prometheus и ELK
- Введение в системы мониторинга и журналирования
- Настройка и использование Prometheus для мониторинга метрик, настройка ELK стека для сбора и анализа журналов
17-18 Недели: Управление версиями кода с Git и системы управления версиями
- Основы Git и его применение в DevOps процессах
- Работа с системами управления версиями (VCS), такими как GitLab, GitHub
19-20 Недели: Облачные решения и DevOps
- Использование облачных провайдеров (AWS, Azure, Google Cloud) в DevOps процессах
- Автоматизация инфраструктуры в облаке, использование инструментов облачного мониторинга и управления ресурсами
21-22 Недели: Масштабирование и управление нагрузкой
- Введение в концепцию масштабируемости
- Использование инструментов для мониторинга и управления нагрузкой, таких как autoscaling в облаке, горизонтальное масштабирование
23-24 Недели: DevOps и безопасность
- Роль безопасности в DevOps процессах
- Основы безопасного развертывания и конфигурации приложений
25-26 Недели: Проектная работа и подведение итогов
- Студенты реализуют проектные задачи, интегрируя полученные знания в DevOps методологии
- Подведение итогов курса, обсуждение проектов студентов и дальнейшие шаги в развитии
Цель курса
Целью преподавания курса «DevOps: Основы и Практика» является подготовка студента к самостоятельному решению теоретических и прикладных задач при работе в области DevOps. Студент научится автоматизировать процессы используя необходимые инструменты; создать непрерывную интеграцию и поставку (CI/CD); настраивать мониторинг и обратную связь.
Стоимость курса: 600 000 тенге
Формат курса: Онлайн
Отбор студентов
- Заявка: Потенциальные студенты будут заполнять заявку, в которой могут предоставить информацию о своем образовании, предыдущем опыте в разработке или связанных областях, мотивации и целях, которые они хотели бы достичь, посещая данный курс.
- Оценка готовности к обучению: Школа может проанализировать предоставленную информацию, чтобы оценить квалификации и потенциал каждого кандидата. Это может включать анализ образования, опыта работы или проектов, выполненных в области разработки. А также дополнительно пройти тестирование готовность к обучению состоящее из 30 вопросов и времене 45 минут
- Собеседование: Возможно, некоторым кандидатам будет предложено пройти собеседование, чтобы более подробно обсудить их навыки, опыт, мотивацию и понимание важных концепций DevOps/Data Engineering. Собеседование может проводиться лично, по телефону или онлайн.
- Результаты отбора: После проведения всех необходимых этапов, школа определит, какие студенты будут приняты на курс. Результаты отбора будут объявлены соискателям, и тем, кто был выбран, будет предоставлена возможность принять участие в курсе.
Состав преподавателей
Жиенбаев Мейран
Магистр в области компьютерных информационных системах
Преподаватель в Казахском национальном университете имени Аль-Фараби
Эксперт в области Data Engeneering
Должность в ТОО «Proper Data Management»: Старший разработчик корпоративного хранилища данных
Акшалаков Абай
Бакалавр в области информационные системы
Преподаватель в Казахстанско – немецком университете
Эксперт в области Data Engeneering
Должность в ТОО «Proper Data Management»: разработчик корпоративного хранилища данных/DevOps — инженер
