Active Machine Learning with Python: Refine and elevate data quality over quantity with active learning / Активное машинное обучение с помощью Python: Уточняйте и повышайте качество данных, а не их количество, благодаря активному обучению
Год издания: 2024
Автор: Masson-Forsythe Margaux / Массон-Форсайт Марго
Издательство: Packt Publishing
ISBN: 978-1-83546-494-6
Язык: Английский
Формат: PDF, EPUB
Качество: Издательский макет или текст (eBook)
Интерактивное оглавление: Да
Количество страниц: 176
Описание: Use active machine learning with Python to improve the accuracy of predictive models, streamline the data analysis process, and adapt to evolving data trends, fostering innovation and progress across diverse fields
Key Features
Learn how to implement a pipeline for optimal model creation from large datasets and at lower costs
Gain profound insights within your data while achieving greater efficiency and speed
Apply your knowledge to real-world use cases and solve complex ML problems
Book Description
Building accurate machine learning models requires quality data-lots of it. However, for most teams, assembling massive datasets is time-consuming, expensive, or downright impossible. Led by Margaux Masson-Forsythe, a seasoned ML engineer and advocate for surgical data science and climate AI advancements, this hands-on guide to active machine learning demonstrates how to train robust models with just a fraction of the data using Python’s powerful active learning tools.
You’ll master the fundamental techniques of active learning, such as membership query synthesis, stream-based sampling, and pool-based sampling and gain insights for designing and implementing active learning algorithms with query strategy and Human-in-the-Loop frameworks. Exploring various active machine learning techniques, you’ll learn how to enhance the performance of computer vision models like image classification, object detection, and semantic segmentation and delve into a machine AL method for selecting the most informative frames for labeling large videos, addressing duplicated data. You’ll also assess the effectiveness and efficiency of active machine learning systems through performance evaluation.
By the end of the book, you’ll be able to enhance your active learning projects by leveraging Python libraries, frameworks, and commonly used tools.
What you will learn
Master the fundamentals of active machine learning
Understand query strategies for optimal model training with minimal data
Tackle class imbalance, concept drift, and other data challenges
Evaluate and analyze active learning model performance
Integrate active learning libraries into workflows effectively
Optimize workflows for human labelers
Explore the finest active learning tools available today
Who this book is for
Ideal for data scientists and ML engineers aiming to maximize model performance while minimizing costly data labeling, this book is your guide to optimizing ML workflows and prioritizing quality over quantity. Whether you’re a technical practitioner or team lead, you’ll benefit from the proven methods presented in this book to slash data requirements and iterate faster.
Basic Python proficiency and familiarity with machine learning concepts such as datasets and convolutional neural networks is all you need to get started.
Используйте активное машинное обучение с помощью Python для повышения точности прогнозных моделей, оптимизации процесса анализа данных и адаптации к меняющимся тенденциям в области обработки данных, способствуя инновациям и прогрессу в различных областях.
Kлючевые функции
Узнайте, как внедрить конвейер для создания оптимальной модели на основе больших наборов данных с меньшими затратами
Получите глубокое представление о ваших данных, добившись при этом большей эффективности и скорости работы
Примените свои знания к практическим примерам использования и решайте сложные задачи ML
Описание книги
Для построения точных моделей машинного обучения требуются качественные данные, причем в большом количестве. Однако для большинства команд сбор массивных наборов данных занимает много времени, обходится дорого или вообще невозможен. Это практическое руководство по активному машинному обучению, подготовленное Марго Массон-Форсайт, опытным инженером ML и сторонником достижений в области обработки хирургических данных и искусственного интеллекта в области климата, демонстрирует, как обучать надежные модели, используя лишь малую часть данных, используя мощные инструменты активного обучения Python.
Вы освоите основные методы активного обучения, такие как синтез запросов о членстве, выборка на основе потока и выборка на основе пула, а также получите представление о разработке и внедрении алгоритмов активного обучения с использованием стратегии запросов и фреймворков "Человек в цикле". Изучая различные методы активного машинного обучения, вы узнаете, как повысить производительность моделей компьютерного зрения, таких как классификация изображений, обнаружение объектов и семантическая сегментация, а также познакомитесь с машинным методом выбора наиболее информативных кадров для маркировки больших видеороликов и обработки дублированных данных. Вы также сможете оценить эффективность систем активного машинного обучения с помощью оценки производительности.
К концу книги вы сможете усовершенствовать свои проекты активного обучения, используя библиотеки, фреймворки и часто используемые инструменты Python.
Чему вы научитесь
Освоите основы активного машинного обучения
Разберитесь в стратегиях запросов для оптимального обучения модели с минимальными затратами данных
Устраните дисбаланс классов, смещение концепций и другие проблемы с данными
Оцените и проанализируйте эффективность модели активного обучения
Эффективно интегрируйте библиотеки активного обучения в рабочие процессы
Оптимизируйте рабочие процессы для тех, кто работает с этикетками
Ознакомьтесь с лучшими инструментами активного обучения, доступными на сегодняшний день
Для кого предназначена эта книга
Эта книга, идеально подходящая для специалистов по обработке данных и инженеров ML, стремящихся максимизировать производительность моделей при минимизации затрат на маркировку данных, станет вашим руководством по оптимизации рабочих процессов ML и приоритизации качества над количеством. Независимо от того, являетесь ли вы техническим специалистом или руководителем группы, представленные в этой книге проверенные методы, позволяющие сократить требования к данным и ускорить выполнение итераций, помогут вам в этом.
Базовое владение Python и знакомство с концепциями машинного обучения, такими как наборы данных и сверточные нейронные сети, - это все, что вам нужно для начала работы.
Примеры страниц (скриншоты)
Оглавление
Preface xi
Part 1: Fundamentals of Active Machine Learning
1
Introducing Active Machine Learning 3
Understanding active machine learning systems 3
Definition 4
Potential range of applications 4
Key components of active machine
learning systems 5
Exploring query strategies scenarios 7
Membership query synthesis 7
Stream-based selective sampling 8
Pool-based sampling 11
Comparing active and
passive learning 13
Summary 14
2
Designing Query Strategy Frameworks 17
Technical requirements 18
Exploring uncertainty
sampling methods 18
Understanding query-by-
committee approaches 25
Maximum disagreement 26
Vote entropy 28
Average KL divergence 30
Labeling with EMC sampling 34
Sampling with EER 37
Understanding density-
weighted sampling methods 38
Summary 44
3
Managing the Human in the Loop 45
Technical requirements 45
Designing interactive learning
systems and workflows 46
Exploring human-in-the-loop
labeling tools 50
Common labeling platforms 51
Handling model-label disagreements 52
Programmatically identifying mismatches 52
Manual review of conflicts 54
Effectively managing human-in-theloop
systems 55
Ensuring annotation quality and
dataset balance 57
Assess annotator skills 57
Use multiple annotators 58
Balanced sampling 59
Summary 61
Part 2: Active Machine Learning in Practice
4
Applying Active Learning to Computer Vision 65
Technical requirements 65
Implementing active ML for an
image classification project 66
Building a CNN for the CIFAR dataset 67
Applying uncertainty sampling to improve
classification performance 73
Applying active ML to
an object detection project 76
Preparing and training our model 77
Analyzing the evaluation metrics 79
Implementing an active ML strategy 80
Using active ML for
a segmentation project 84
Summary 88
5
Leveraging Active Learning for Big Data 89
Technical requirements 89
Implementing ML models
for video analysis 90
Selecting the most informative
frames with Lightly 92
Using Lightly to select the best frames
to label for object detection 93
SSL with active ML 115
Summary 118
Part 3: Applying Active Machine Learning to
Real-World Projects
6
Evaluating and Enhancing Efficiency 121
Technical requirements 121
Creating efficient active
ML pipelines 122
Monitoring active ML pipelines 124
Determining when to stop
active ML runs 127
Enhancing production model
monitoring with active ML 128
Challenges in monitoring
production models 128
Active ML to monitor models
in production 130
Early detection for data drift and
model decay 132
Summary 133
7
Utilizing Tools and Packages for Active ML 135
Technical requirements 135
Mastering Python packages
for enhanced active ML 136
scikit-learn 136
modAL 139
Getting familiar with
the active ML tools 145
Summary 147
Index 149
Other Books You May Enjoy 156
