Generative AI Application Integration Patterns: Integrate large language models into your applications / Паттерны интеграции приложений генеративного искусственного интеллекта: Интегрируйте большие языковые модели в свои приложения
Год издания: 2024
Автор: Bustos Juan Pablo, Soria Luis Lopez / Бустос Хуан Пабло, Сория Луис Лопес
Издательство: Packt Publishing
ISBN: 978-1-83588-760-8
Серия: Expert Insight
Язык: Английский
Формат: PDF/EPUB
Качество: Издательский макет или текст (eBook)
Интерактивное оглавление: Да
Количество страниц: 219
Описание: Unleash the transformative potential of GenAI with this comprehensive guide that serves as an indispensable roadmap for integrating large language models into real-world applications. Gain invaluable insights into identifying compelling use cases, leveraging state-of-the-art models effectively, deploying these models into your applications at scale, and navigating ethical considerations.
Key Features
Get familiar with the most important tools and concepts used in real scenarios to design GenAI apps
Interact with GenAI models to tailor model behavior to minimize hallucinations
Get acquainted with a variety of strategies and an easy to follow 4 step frameworks for integrating GenAI into applications
Book Description
Explore the transformative potential of GenAI in the application development lifecycle. Through concrete examples, you will go through the process of ideation and integration, understanding the tradeoffs and the decision points when integrating GenAI.
With recent advances in models like Google Gemini, Anthropic Claude, DALL-E and GPT-4o, this timely resource will help you harness these technologies through proven design patterns.
We then delve into the practical applications of GenAI, identifying common use cases and applying design patterns to address real-world challenges. From summarization and metadata extraction to intent classification and question answering, each chapter offers practical examples and blueprints for leveraging GenAI across diverse domains and tasks. You will learn how to fine-tune models for specific applications, progressing from basic prompting to sophisticated strategies such as retrieval augmented generation (RAG) and chain of thought.
Additionally, we provide end-to-end guidance on operationalizing models, including data prep, training, deployment, and monitoring. We also focus on responsible and ethical development techniques for transparency, auditing, and governance as crucial design patterns.
What you will learn
Concepts of GenAI: pre-training, fine-tuning, prompt engineering, and RAG
Framework for integrating AI: entry points, prompt pre-processing, inference, post-processing, and presentation
Patterns for batch and real-time integration
Code samples for metadata extraction, summarization, intent classification, question-answering with RAG, and more
Ethical use: bias mitigation, data privacy, and monitoring
Deployment and hosting options for GenAI models
Who this book is for
This book is not an introduction to AI/ML or Python. It offers practical guides for designing, building, and deploying GenAI applications in production. While all readers are welcome, those who benefit most include:
Developer engineers with foundational tech knowledge
Software architects seeking best practices and design patterns
Professionals using ML for data science, research, etc., who want a deeper understanding of Generative AI
Technical product managers with a software development background
This concise focus ensures practical, actionable insights for experienced professionals
Раскройте преобразующий потенциал GenAI с помощью этого всеобъемлющего руководства, которое служит незаменимой дорожной картой для интеграции больших языковых моделей в реальные приложения. Получите бесценную информацию о том, как определить привлекательные варианты использования, эффективно использовать самые современные модели, масштабно внедрять эти модели в свои приложения и руководствоваться этическими соображениями.
Ключевые функции
Познакомьтесь с наиболее важными инструментами и концепциями, используемыми в реальных сценариях разработки приложений GenAI
Взаимодействуйте с моделями GenAI, чтобы адаптировать поведение модели к минимуму галлюцинаций
Ознакомьтесь с различными стратегиями и простыми 4-шаговыми фреймворками для интеграции GenAI в приложения
Описание книги
Исследуйте преобразующий потенциал GenAI в жизненном цикле разработки приложений. На конкретных примерах вы познакомитесь с процессом разработки идей и интеграции, поймете компромиссы и моменты принятия решений при интеграции GenAI.
Благодаря последним достижениям в таких моделях, как Google Gemini, Anthropic Claude, DALL-E и GPT-4o, этот актуальный ресурс поможет вам использовать эти технологии с помощью проверенных шаблонов проектирования.
Затем мы углубляемся в практическое применение GenAI, выявляя распространенные варианты использования и применяя шаблоны проектирования для решения реальных задач. В каждой главе, от обобщения и извлечения метаданных до классификации целей и ответов на вопросы, приводятся практические примеры и схемы использования GenAI в различных областях и задачах. Вы узнаете, как точно настраивать модели для конкретных приложений, переходя от простых подсказок к сложным стратегиям, таким как расширенная генерация поиска (RAG) и цепочка размышлений.
Кроме того, мы предоставляем комплексные рекомендации по внедрению моделей, включая подготовку данных, обучение, внедрение и мониторинг. Мы также уделяем особое внимание ответственным и этичным методам разработки, обеспечивающим прозрачность, аудит и управление, как важнейшим моделям проектирования.
Что вы узнаете
Концепции GenAI: предварительное обучение, тонкая настройка, оперативное проектирование и RAG
Платформа для интеграции ИИ: точки входа, оперативная предварительная обработка, логический вывод, постобработка и представление
Шаблоны для пакетной интеграции и интеграции в режиме реального времени
Примеры кода для извлечения метаданных, обобщения, классификации целей, ответов на вопросы с помощью RAG и многого другого
Этичное использование: устранение предвзятости, конфиденциальность данных и мониторинг
Варианты развертывания и хостинга моделей GenAI
Для кого предназначена эта книга
Эта книга не является введением в AI/ML или Python. В нем содержатся практические руководства по проектированию, созданию и развертыванию приложений GenAI в производственных условиях. Хотя мы рады всем читателям, к числу тех, кто получает наибольшую пользу, относятся:
Инженеры-разработчики, обладающие фундаментальными техническими знаниями
Архитекторы программного обеспечения ищут лучшие практики и шаблоны проектирования
Профессионалы, использующие ML для обработки данных, научных исследований и т.д., которые хотят глубже понять генеративный искусственный интеллект
Технические менеджеры по продуктам с опытом разработки программного обеспечения
Эта краткая информация обеспечивает практическое применение ИИ опытным специалистам
Примеры страниц (скриншоты)
Оглавление
Preface xv
Chapter 1: Introduction to Generative AI Patterns 1
From AI predictions to generative AI .................................................................................. 2
Predictive AI vs generative AI use case ideation ................................................................... 4
A change in the paradigm ................................................................................................. 7
Predictive AI use case development – simplified lifecycle • 8
Generative AI use case development – simplified lifecycle • 9
General generative AI concepts ........................................................................................ 11
Generative AI model architectures • 11
Techniques available to optimize foundational models • 12
Techniques to augment your foundational model responses • 13
Constant evolution across the generative AI space ............................................................. 13
Introducing generative AI integration patterns ................................................................... 14
Summary ...................................................................................................................... 15
Chapter 2: Identifying Generative AI Use Cases 17
When to consider generative AI ........................................................................................ 18
Realizing business value ................................................................................................... 20
Identifying Generative AI use cases .................................................................................... 21
Potential business-focused use cases .................................................................................. 23
Generative AI deployment and hosting options ...................................................................... 28
Summary .......................................................................................................................... 29
Chapter 3: Designing Patterns for Interacting with Generative AI 31
Defining an integration framework ....................................................................................... 33
Entry point ....................................................................................................................... 34
Prompt pre-processing ........................................................................................................ 34
Inference ........................................................................................................................... 35
Results post-processing ...................................................................................................... 36
Selecting from amongst multiple outputs • 43
Refining generated outputs • 45
Results presentation ........................................................................................................... 49
Logging ............................................................................................................................. 50
Summary .......................................................................................................................... 52
Chapter 4: Generative AI Batch and Real-Time Integration Patterns 55
Batch and real-time integration patterns .............................................................................. 56
Different pipeline architectures ........................................................................................... 57
Application integration patterns in the integration framework .................................................. 59
Entry point • 59
Prompt pre-processing • 61
Inference • 61
Result post-processing • 63
Result presentation • 64
Use case example – search enhanced by GenAI ..................................................................... 65
Batch integration – document ingestion ................................................................................ 66
Real-time integration – search • 67
Summary .......................................................................................................................... 68
Chapter 5: Integration Pattern: Batch Metadata Extraction 71
Use case definition ............................................................................................................ 72
Architecture ...................................................................................................................... 74
Entry point • 76
Prompt pre-processing • 76
Inference • 85
Result post-processing • 88
Result presentation • 89
Summary .......................................................................................................................... 90
Chapter 6: Integration Pattern: Batch Summarization 93
Use case definition ............................................................................................................ 94
Architecture ...................................................................................................................... 96
Entry point • 98
Prompt pre-processing • 98
Inference • 101
Result post-processing • 102
Result presentation • 103
Summary ........................................................................................................................ 104
Chapter 7: Integration Pattern: Real-Time Intent Classification 107
Use case definition .......................................................................................................... 108
Architecture .................................................................................................................... 109
Entry point • 111
Prompt pre-processing • 111
Inference • 113
Result post-processing • 115
Result presentation • 118
Logging and monitoring • 121
Summary ......................................................................................................................... 121
Chapter 8: Integration Pattern: Real-Time Retrieval
Augmented Generation 123
Use case definition ........................................................................................................... 125
Architecture ..................................................................................................................... 126
Entry point ...................................................................................................................... 126
Prompt pre-processing • 128
xii Table of Contents
Inference .......................................................................................................................... 131
Result post-processing ........................................................................................................ 133
Result presentation • 134
Use case demo .................................................................................................................. 135
The Gradio app • 137
Summary ......................................................................................................................... 137
Chapter 9: Operationalizing Generative AI Integration Patterns 139
Operationalization framework ............................................................................................. 140
Data layer ........................................................................................................................ 142
A real-world example: Part 1 • 143
Training layer ................................................................................................................. 144
A real-world example: Part 2 • 147
Inference layer ................................................................................................................ 150
A real-world example: Part 3 • 152
Operations layer .............................................................................................................. 153
CI/CD and MLOps • 154
Monitoring and observability • 155
Evaluation and monitoring • 156
Alerting • 158
Distributed tracing • 158
Logging • 159
Cost optimization • 159
Summary ........................................................................................................................ 160
Chapter 10: Embedding Responsible AI into Your GenAI Applications 163
Introduction to responsible AI ......................................................................................... 163
Fairness in GenAI applications ......................................................................................... 165
Interpretability and explainability ................................................................................... 167
Privacy and data protection ............................................................................................. 169
Safety and security in GenAI systems ............................................................................... 171
Google’s approach to responsible AI • 173
Google’s Secure AI Framework (SAIF) • 174
Google’s Red Teaming approach • 176
Anthropic’s approach to responsible AI • 177
Summary ......................................................................................................................... 181
Other Books You May Enjoy 187
Index 191
