PostgreSQL Advanced. Продвинутый курс по работе с базой данных PostgreSQL в различных средах
Год выпуска: 2023
Производитель: OTUS
Сайт производителя:
https://otus.ru/lessons/postgresql-cloud/
Автор: Евгений Аристов, Виталий Попов, Владимир Дроздецки
Продолжительность: 41ч 0м 41с
Тип раздаваемого материала: Видеоурок
Язык: Русский
Субтитры: Отсутсвуют
Описание:
Курс подходит для:
- DevOps-инженеров
- SRE
- архитекторов данных
- администраторов баз данных
- разработчиков
Необходимые знания и навыки:
- Знать Linux
- Знать синтаксис и особенности работы в PostgreSQL
- Уметь использовать индексы, джойны и статистику для оптимизации производительности
- Уметь организовывать систему резервного копирования
Что даст вам этот курс?
- Вы научитесь работать с PostgreSQL в следующих средах:
- На базе собственной физической и виртуальной инфраструктуры
- В кластерах на основе PostgreSQL: Patroni, Greenplum, CockroachDB, Citus, Yugabyte
- В кластере Kubernetes: GKE, Postgres Operator
- В публичных облаках: GCP, Yandex Cloud, SberCloud, VKCloud
После курса вы сможете:
- Автоматизировать установку и настройку ВМ и ПО
- Использовать решения «on-premise», виртуальные и облачные инфраструктуры, чтобы создать и запустить базу данных PostgreSQL
- Проводить углубленный анализ производительности
- Профилировать, мониторить и оптимизировать запросы
- Создавать и поддерживать: отказоустойчивые высокодоступные кластеры, горизонтально масштабируемые кластеры, массивно параллельные кластеры
- Понять, как работает тот или иной кластер, и как им пользоваться
- Экономить на администрировании IT-инфраструктуры
- Быстрее выводить продукты на рынок
- Разворачивать «инстансы» и кластеры Postgres для разработки и тестирования c минимальными затратами на инфраструктуру и техподдержку
- Разворачивать отказоустойчивые кластерные решения в Kubernetes
- Использовать Terraform для автоматизации установки и настройки виртуальных машин в рабочем окружении
- Использовать Ansible для автоматизации рутинных задач по развёртыванию ПО
Дополнительно
Будете знать, чем отличаются облака друг от друга, и как работать в каждом из них; рассмотрите современные бэкапы с помощью pg_probackup и Wal-G, сможете использовать утилиту pg_rewind для восстановления кластера после сбоя; узнаете как лучше строить аналитическую отчётность, сравните возможности кубов и связки ClickHouse + Superset
Проектная работа
В конце обучения вы создадите отказоустойчивый географически распределённый кластер PostgreSQL. Вместе с преподавателями вы спланируете работу над проектом: вам сообщат правила работы, специфику проведения итоговой защиты, требования к итоговой документации и результату проекта
Программа курса:
Введение
В данном модуле будут рассматриваться основы реляционной модели, OLTP, ACID, MVCC. Поймем физическую структуру данных PostgreSQL и научимся его установке различными способами.
Слушатели смогут устанавливать из PostgreSQL из пакетов Docker и Kubernetes.
Тема 1: Введение в PostgreSQL в облаках: технологии для современных DBA
Тема 2: PostgreSQL и Docker: создание образов, настройка и мониторинг
Тема 3: Настройка PostgreSQL
Тема 4: Виды репликации, введение в Patroni
Тема 5: Постоение кластера Patroni
Тема 6: Углубленное изучение бэкапов
Тема 7: Углубленный анализ производительности. Профилирование. Оптимизация
Тема 8: Инструменты мониторинга и визуализации
PostgreSQL в облаках и автоматизация процессов
В этом модуле мы рассмотрим как развернуть кластер PostgreSQL в облаках и протестируем его на практике.
Слушатели смогут развернуть различные варианты кластеров PostgreSQL в облаках самостоятельно.
Тема 1: Введение в Kubernetes: Основы и развертывание приложения
Тема 2: Введение в Kubernetes: Работа с хранилищами данных и конфигурациями
Тема 3: Terraform
Тема 4: Ansible
Тема 5: Управление PostgreSQL в Yandex Cloud
Тема 6: PostgreSQL и Yandex Cloud: построение отказоустойчивого кластера и аналитики
Тема 7: PostgreSQL и VKcloud
Тема 8: PostgreSQL и SberCloud
Тема 9: Самый простой back-end на NodeJS
Тема 10: Веб-приложение с UI и БД
PostgreSQL и большие данные
Высокая доступность и горизонтальная масштабируемость.
В этом модуле мы рассмотрим варианты кластеров высокой доступности и горизонтальной масштабируемости и протестируем их на практике.
Слушатели смогут развернуть различные варианты кластеров HA и горизонтально масштабированных самостоятельно.
Тема 1: Работа с большими данными в PostgreSQL
Тема 2: Варианты кластеров высокой доступности для PostgreSQL
Тема 3: Работа с кластером высокой доступности
Тема 4: Горизонтальное масштабирование PostgreSQL
Тема 5: Работа с горизонтально масштабируемым кластером
Тема 6: Массивно параллельные кластера PostgreSQL
Тема 7: Clickhouse + Superset
Проектная работа
В этом модуле мы выберем темы дипломных работ, создадим свой фронтенд+бэкенд к нашему кластеру.
Студенты смогут реализовать свой дипломный проект: создать свой фронтенд+бэкенд к своему HA геораспределенному кластеру и протестируют отказоустойчивость под нагрузкой
Тема 1: Выбор темы и организация проектной работы
Тема 2: Консультация по дипломному проекту
Тема 3: Защита проектных работ
Тема 4: Итоги курса
Формат видео: MP4
Видео: avc, 1920x1080, 16:9, 25.000 к/с, 299 кб/с
Аудио: aac lc, 32.0 кгц, 128 кб/с, 1 аудио
MediaInfo
General
Complete name : E:\[OTUS] PostgreSQL Advanced (2023)\21. PostgreSQL и Яндекс Облако\21. PostgreSQL и Яндекс Облако.mp4
Format : MPEG-4
Format profile : Base Media
Codec ID : isom (isom/iso2/avc1/mp41)
File size : 381 MiB
Duration : 2 h 3 min
Overall bit rate : 433 kb/s
Frame rate : 25.000 FPS
Writing application : Lavf59.27.100
Video
ID : 1
Format : AVC
Format/Info : Advanced Video Codec
Format profile : High@L4
Format settings : CABAC / 4 Ref Frames
Format settings, CABAC : Yes
Format settings, Reference frames : 4 frames
Codec ID : avc1
Codec ID/Info : Advanced Video Coding
Duration : 2 h 3 min
Bit rate : 299 kb/s
Width : 1 920 pixels
Height : 1 080 pixels
Display aspect ratio : 16:9
Frame rate mode : Constant
Frame rate : 25.000 FPS
Color space : YUV
Chroma subsampling : 4:2:0
Bit depth : 8 bits
Scan type : Progressive
Bits/(Pixel*Frame) : 0.006
Stream size : 263 MiB (69%)
Writing library : x264 core 164
Encoding settings : cabac=1 / ref=3 / deblock=1:0:0 / analyse=0x3:0x113 / me=hex / subme=7 / psy=1 / psy_rd=1.00:0.00 / mixed_ref=1 / me_range=16 / chroma_me=1 / trellis=1 / 8x8dct=1 / cqm=0 / deadzone=21,11 / fast_pskip=1 / chroma_qp_offset=-2 / threads=34 / lookahead_threads=5 / sliced_threads=0 / nr=0 / decimate=1 / interlaced=0 / bluray_compat=0 / constrained_intra=0 / bframes=3 / b_pyramid=2 / b_adapt=1 / b_bias=0 / direct=1 / weightb=1 / open_gop=0 / weightp=2 / keyint=250 / keyint_min=25 / scenecut=40 / intra_refresh=0 / rc_lookahead=40 / rc=crf / mbtree=1 / crf=26.0 / qcomp=0.60 / qpmin=0 / qpmax=69 / qpstep=4 / ip_ratio=1.40 / aq=1:1.00
Codec configuration box : avcC
Audio
ID : 2
Format : AAC LC
Format/Info : Advanced Audio Codec Low Complexity
Codec ID : mp4a-40-2
Duration : 2 h 3 min
Source duration : 2 h 3 min
Bit rate mode : Constant
Bit rate : 128 kb/s
Channel(s) : 1 channel
Channel layout : M
Sampling rate : 32.0 kHz
Frame rate : 31.250 FPS (1024 SPF)
Compression mode : Lossy
Stream size : 113 MiB (30%)
Source stream size : 113 MiB (30%)
Default : Yes
Alternate group : 1
