Машинное обучение: Основы, алгоритмы и практика применения
Год издания: 2022
Автор: Борхани Р., Катсаггелос А., Уатт Д.
Переводчик: Логунов Андрей
Издательство: БХВ-Петербург
ISBN: 978-5-9775-6763-3
Язык: Русский
Формат: PDF
Качество: Отсканированные страницы + слой распознанного текста
Количество страниц: 640
Описание: Представлены фундаментальные знания и практические инструменты в области машинного обучения, в том числе более 100 углубленных упражнений на языке Python. Дано введение в машинное обучение и математическую оптимизацию, включая методы первого и второго порядков, градиентного спуска и Ньютона. Приведено полное описание обучения с учителем, включая линейную регрессию, двухклассовую и многоклассовую классификацию, а также обучение без учителя и фундаментальные методы генерации признаков Дано введение в нелинейное обучение с учителем и без. Обсуждается тема автоматизированного отбора подходящих нелинейных моделей, включая перекрестную валидацию, бустирование, регуляризацию и ансамблирование. Рассмотрены фиксированно-контурные ядра, нейронные сети, деревья и другие универсальные аппроксиматоры. Отдельно дана полная трактовка продвинутых методов оптимизации. Электронный архив на сайте издательства содержит коды всех примеров и более 300 цветных иллюстраций.
Для разработчиков систем машинного обучения.
Оглавление
О книге 1
Предисловие 2
Обзор книги 3
К читателям: как пользоваться этой книгой 5
К преподавателям: как пользоваться этой книгой 6
Благодарности 12
Глава 1. Введение в машинное обучение 13
1.1. Введение 13
1.2. Как отличить кошку от собаки: подход на основе машинного обучения 13
1.3. Базовая таксономия задач машинного обучения 18
1.4. Математическая оптимизация 29
1.5. Заключение 31
ЧАСТЬ 1. МАТЕМАТИЧЕСКАЯ ОПТИМИЗАЦИЯ 33
Глава 2. Прямые методы оптимизации (нулевого порядка) 35
2.1. Введение 35
2.2. Условие оптимальности нулевого порядка 37
2.3. Методы глобальной оптимизации 38
2.4. Методы локальной оптимизации 41
2.5. Случайный поиск 45
2.6. Координатный поиск и спуск 53
2.7. Заключение 55
2.8. Упражнения 56
Глава 3. Приемы оптимизации первого порядка 60
3.1. Введение 60
3.2. Условие оптимальности первого порядка 60
3.3. Геометрия ряда Тейлора первого порядка 67
3 .4. Эффективное вычисление градиентов 70
3.5. Градиентный спуск 72
3.6. Два естественных недостатка градиентного спуска 80
3.7. Заключение 86
3.8. Упражнения 87
Глава 4. Приемы оптимизации второго порядка 91
4.1. Условие оптимальности второго порядка 91
4.2. Геометрия ряда Тейлора второго порядка 94
4.3. Метод Ньютона 97
4.4. Два естественных недостатка метода Ньютона 107
4.5. Заключение 108
4.6. Упражнения 109
ЧАСТЬ 11. ЛИНЕЙНОЕ ОБУЧЕНИЕ С УЧИТЕЛЕМ 113
Глава 5. Линейная регрессия 115
5.1. Введение 115
5.2. Линейная регрессия на основе наименьших квадратов 115
5.3. Наименьшие абсолютные отклонения 125
5.4. Метрики качества регрессии 127
5.5. Взвешенная регрессия 130
5.6. Многовыходная регрессия 133
5.7. Заключение 137
5.8. Упражнения 137
5.9. Обобщения 140
Глава 6. Линейная двухклассовая классификация 142
6.1. Введение 142
6.2. Логистическая регрессия и стоимость перекрестной энтропии 142
6.3. Логистическая регрессия и функция softmax (функция мягкого максимума) 152
6.4. Перцептрон 158
6.5. Метод опорных векторов 169
6.6. Какой подход дает наилучшие результаты? 175
6.7. Категориальная стоимость перекрестной энтропии 176
6.8. Метрики качества классификации 179
6. 9. Взвешенная двух классовая классификация 187
6.10. Заключение 190
6.11. Упражнения 191
Глава 7. Линейная многоклассовая классификация 194
7.1. Введение 194
7.2. Много классовая классификация "один против всех" 194
7.3. Многоклассовая классификация и перцептрон 204
7.4. Какой подход дает наилучшие результаты? 212
7.5. Стоимостная функция категориальной перекрестной энтропии 213
7.6. Метрики качества классификации 219
7.7. Взвешенная многоклассовая классификация 223
7.8. Стохастическое и мини-пакетное обучение 223
7.9. Заключение 226
7.10. Упражнения 226
Глава 8. Линейное обучение без учителя 229
8.1. Введение 229
8.2. Фиксированные охватывающие множества, ортонормальность и проекции 229
8.3. Линейный автокодировщик и анализ главных компонент 235
8.4. Рекомендательные системы 241
8.5. Кластеризация методом К средних 243
8.6. Общая методика матричной факторизации 249
8.7. Заключение 253
8.8. Упражнения 253
8.9. Обобщения 255
Глава 9. Инженерия и отбор признаков 260
9.1. Введение 260
9.2. Гистограммные признаки 262
9.3. Шкалирование признаков посредством стандартной нормализации 274
9.4. Вменение значений, отсутствующих в наборе данных 278
9.5. Шкалирование признаков посредством декоррелирующего преобразования 280
9.6. Отбор признаков посредством бустинга 283
9.7. Отбор признаков посредством регуляризации 288
9.8. Заключение 294
9.9. Упражнения 294
ЧАСТЬ 111. НЕЛИНЕЙНОЕ ОБУЧЕНИЕ 299
Глава 10. Принципы инженерии нелинейных признаков 301
10.1. Введение 301
10.2. Нелинейная регрессия 301
10.3. Нелинейная многовыходная регрессия 308
10.4. Нелинейная двухклассовая классификация 312
10.5. Нелинейная многоклассовая классификация 316
10.6. Нелинейное обучение без учителя 320
10.7. Заключение 324
10.8. Упражнения 324
Глава 11. Принципы усвоения признаков 330
11.1. Введение 330
11.2. Универсальные аппроксиматоры 333
11.3. Универсальная аппроксимация реальных данных 351
11.4. Наивная перекрестная валидация 362
11.5. Эффективная перекрестная валидация посредством бустинга 368
11.6. Эффективная перекрестная валидация посредством регуляризации 379
11.7. Тестирование данных 391
11.8. Какой универсальный аппроксиматор лучше всего работает на практике? 395
11.9. Бутстрап-агрегирование перекрестно-валидированных моделей 396
11.10. К-блочная перекрестная валидация 404
11.11. Когда усвоение признаков не срабатывает 409
11.12. Заключение 410
11.13. Упражнения 411
Глава 12. Ядерные методы 414
12.1. Введение 414
12.2. Фиксированно-контурные универсальные аппроксиматоры 414
12.3. Трюк с ядром 417
12.4. Ядра как меры сходства 427
12.5. Оптимизация ядрированных моделей 428
12.6. Перекрестная валидация ядрированных учеников 429
12.7. Заключение 430
12.8. Упражнения 431
Глава 13. Полносвязные нейронные сети 434
13.1. Введение 434
13.2. Полносвязные нейронные сети 434
13.3. Функции активации 455
13.4. Алгоритм обратного распространения 458
13.5. Оптимизация нейросетевых моделей 459
13.6. Пакетная нормализация 462
13.7. Перекрестная валидация посредством ранней остановки 470
13.8. Заключение 472
13.9. Упражнения 472
Глава 14. Деревья решений 474
14.1. Введение 474
14.2. От пней до глубоких деревьев 474
14.3. Регрессионные деревья 477
14.4. Классификационные деревья 484
14.5. Бустирование градиента 490
14.6. Случайные леса 494
14.7. Приемы перекрестной валидации для рекурсивно определенных деревьев 496
14.8. Заключение 499
14.9. Упражнения 500
ЧАСТЬ IV. ПРИЛОЖЕНИЯ 503
Приложение 1. Продвинутые методы оптимизации первого и второго порядков 505
П 1.1. Введение 505
П 1.2. Стохастический градиентный спуск с импульсом 505
П 1.3. Нормализованный градиентный спуск 511
П 1.4. Продвинутые градиентные методы 517
П 1.5. Мини-пакетная оптимизация 520
П 1.6. Консервативные правила длины шага 523
П 1.7. Метод Ньютона, регуляризация и невыпуклые функции 532
П 1.8. Безгессиановы методы 535
Приложение 2. Производные и автоматическое дифференцирование 544
П 2.1. Введение 544
П 2.2. Производная 544
П 2.3. Правила производных для элементарных функций и операций 547
П 2.4. Градиент 549
П 2.5. Вычислительный граф 550
П 2.6. Прямой режим автоматического дифференцирования 553
П 2.7. Обратный режим автоматического дифференцирования 559
П 2.8. Производные более высокого порядка 563
П 2.9. Ряд Тейлора 565
П 2.10. Использование библиотеки autograd 571
Приложение 3. Линейная алгебра 580
П 3.1. Введение 580
П 3.2. Векторы и векторные операции 580
П 3.3. Матрицы и матричные операции 587
П 3.4. Собственные значения и собственные векторы 590
П 3.5. Векторные и матричные нормы 593
Список литературы 598
Предметный указатель 634
