Reinforcement Learning for Finance: A Python-Based Introduction / Обучение с подкреплением для финансов: Введение на основе Python
Год издания: 2025
Автор: Hilpisch Yves / Хилпиш Ив
Издательство: O’Reilly Media, Inc.
ISBN: 978-1-098-16914-5
Язык: Английский
Формат: PDF/EPUB
Качество: Издательский макет или текст (eBook)
Интерактивное оглавление: Да
Количество страниц: 215
Описание: Reinforcement learning (RL) has led to several breakthroughs in AI. The use of the Q-learning (DQL) algorithm alone has helped people develop agents that play arcade games and board games at a superhuman level. More recently, RL, DQL, and similar methods have gained popularity in publications related to financial research.
This book is among the first to explore the use of reinforcement learning methods in finance.
Author Yves Hilpisch, founder and CEO of The Python Quants, provides the background you need in concise fashion. ML practitioners, financial traders, portfolio managers, strategists, and analysts will focus on the implementation of these algorithms in the form of self-contained Python code and the application to important financial problems.
This book covers:
Reinforcement learning
Deep Q-learning
Python implementations of these algorithms
How to apply the algorithms to financial problems such as algorithmic trading, dynamic hedging, and dynamic asset allocationThis book is the ideal reference on this topic. You’ll read it once, change the examples according to your needs or ideas, and refer to it whenever you work with RL for finance.
Dr. Yves Hilpisch is founder and CEO of The Python Quants, a group that focuses on the use of open source technologies for financial data science, AI, asset management, algorithmic trading, and computational finance.
Обучение с подкреплением (RL) привело к нескольким прорывам в области искусственного интеллекта. Только использование алгоритма Q-learning (DQL) помогло людям разработать агентов, которые играют в аркадные и настольные игры на сверхчеловеческом уровне. В последнее время RL, DQL и аналогичные методы приобрели популярность в публикациях, связанных с финансовыми исследованиями.
Эта книга - одна из первых, в которой рассматривается использование методов обучения с подкреплением в финансах.
Автор Ив Хилпиш, основатель и генеральный директор The Python Quants, в сжатой форме рассказывает о том, что вам нужно. Практики ML, финансовые трейдеры, портфельные менеджеры, стратеги и аналитики сосредоточат свое внимание на реализации этих алгоритмов в виде автономного кода на Python и их применении к важным финансовым задачам.
В этой книге рассматриваются вопросы:
Обучения с подкреплением
Глубокого Q-обучения
Реализации этих алгоритмов на Python
Как применять алгоритмы к финансовым задачам, таким как алгоритмическая торговля, динамическое хеджирование и динамическое распределение активов, эта книга является идеальным справочником по этой теме. Вы прочтете его один раз, измените примеры в соответствии со своими потребностями или идеями и будете обращаться к нему всякий раз, когда будете работать с RL for finance.
Доктор Ив Хилпиш является основателем и генеральным директором Python Quants, группы, которая специализируется на использовании технологий с открытым исходным кодом для анализа финансовых данных, искусственного интеллекта, управления активами, алгоритмической торговли и вычислительных финансов.
Примеры страниц (скриншоты)
Оглавление
Preface vii
Part I. The Basics
1. Learning Through Interaction 3
Bayesian Learning 3
Tossing a Biased Coin 4
Rolling a Biased Die 7
Bayesian Updating 9
Reinforcement Learning 11
Major Breakthroughs 12
Major Building Blocks 14
Deep Q-Learning 16
Conclusions 17
References 17
2. Deep Q-Learning 19
Decision Problems 20
Dynamic Programming 21
Q-Learning 24
CartPole as an Example 26
The Game Environment 26
A Random Agent 28
The DQL Agent 29
Q-Learning Versus Supervised Learning 34
Conclusions 34
References 35
3. Financial Q-Learning 37
Finance Environment 37
DQL Agent 43
Where the Analogy Fails 45
Limited Data 45
No Impact 46
Conclusions 48
References 48
Part II. Data Augmentation
4. Simulated Data 51
Noisy Time Series Data 52
Simulated Time Series Data 56
Conclusions 62
References 63
DQLAgent Python Class 64
5. Generated Data 67
Simple Example 68
Financial Example 73
Kolmogorov-Smirnov Test 78
Conclusions 80
References 81
Part III. Financial Applications
6. Algorithmic Trading 85
Prediction Game Revisited 86
Trading Environment 89
Trading Agent 94
Conclusions 97
References 98
Finance Environment 98
DQLAgent Class 100
Simulation Environment 102
7. Dynamic Hedging 105
Delta Hedging 106
Hedging Environment 115
Hedging Agent 121
Conclusions 126
References 127
BSM (1973) Formula 127
8. Dynamic Asset Allocation 129
Two-Fund Separation 130
Two-Asset Case 146
Three-Asset Case 154
Equally Weighted Portfolio 160
Conclusions 161
References 161
Three-Asset Code 162
9. Optimal Execution 167
The Model 168
Model Implementation 170
Execution Environment 176
Random Agent 179
Execution Agent 181
Conclusions 187
References 188
10. Concluding Remarks 189
References 191
Index 193
